So überprüfen Sie extrem niedrige Fehlerraten

9

Ich stehe vor dem Versuch, durch Testen einer extrem niedrigen Fehlerrate für einen Sensor zu demonstrieren (nicht mehr als 1 Fehler in 1.000.000 Versuchen). Wir haben nur begrenzte Zeit, um das Experiment durchzuführen, daher gehen wir davon aus, dass wir nicht mehr als 4.000 Versuche erhalten können. Ich sehe kein Problem darin, dass der Sensor die Anforderung nicht erfüllt, da selbst ein Fehler in 4.000 Versuchen ein 95% -Konfidenzintervall für die Fehlerrate mit einer Untergrenze von mehr als 0,000001 ergibt. Zu zeigen, dass es die Anforderung erfüllt, ist jedoch das Problem, da selbst 0 Fehler in 4.000 Versuchen immer noch zu einer Untergrenze von mehr als 0,000001 führen. Anregungen wäre sehr dankbar.

Keith Rivenbark
quelle

Antworten:

10

Dies ist ein häufiges Problem, insbesondere bei modernen Komponenten oder Systemen mit Ausfallraten von nur . Um dies zu beheben, müssen Sie Annahmen treffen, Modelle erstellen und / oder andere Datenformen einbeziehen.109

Lee Cadwallader von INL schreibt :

Wenn für eine Komponente, z. B. eine Komponente in der Entwurfsphase, keine Betriebserfahrungsdaten vorhanden sind, hat der Analyst mehrere Optionen:

  • Zerlegung - Zerlegen einer Komponente in ihre Bestandteile und Zuweisen von Handbuchfehlerraten zu den Teilen. Wenn der Analytiker von der Genauigkeit der Teiledaten überzeugt ist, ist diese Technik mühsam, aber nützlich. Wenn die Daten zu Teilen nicht korrekt sind, sollten andere Techniken verwendet werden.

  • Analystenbeurteilung - kann eine umgekehrte Schätzung basierend auf einer Systemverfügbarkeitsanforderung oder einfach eine technische Beurteilung der generischen Ausfallraten für diese Komponentenklasse erfordern.

  • Expertenmeinung - Einholen qualitativer Meinungen von Fachexperten und Kombinieren dieser, um eine Ausfallrate in der Größenordnung zu entwickeln.

  • Komponentenspezifische Techniken - zum Beispiel die Thomas-Methode für Rohrleitungen.

Die Zerlegung wird häufig für elektronische Teile verwendet, wie aus Handbüchern zur Ausfallrate von Bauteilen hervorgeht .

Andere Quellen legen nahe, dass Branchendaten oder -erfahrungen verwendet werden können, um Daten zu informieren oder anstelle von Testdaten.

Andere auf Weibull.com diskutierte Techniken umfassen

Zur Beurteilung der Verschleißzeit eines Bauteils kann eine Langzeitprüfung erforderlich sein. In einigen Fällen kann ein 100% iger Arbeitszyklus (Laufen von Reifen in einem Straßenverschleißsimulator 24 Stunden am Tag) nützliche Lebensdauerprüfungen in Monaten ermöglichen. In anderen Fällen kann der tatsächliche Produktverbrauch 24 Stunden am Tag betragen, und es gibt keine Möglichkeit, den Arbeitszyklus zu beschleunigen. Möglicherweise müssen hohe körperliche Belastungen angewendet werden, um die Testzeit zu verkürzen. Dies ist eine aufstrebende Technik zur Zuverlässigkeitsbewertung, die als QALT (Quantitative Accelerated Life Testing) bezeichnet wird und die Berücksichtigung der Physik und Technik der zu testenden Materialien erfordert.

Vorsichtshalber scheint es eine enge Parallele zwischen diesem Problem und der Schätzung anderer seltener Ereignisse wie Asteroidenangriffe und katastrophaler Ausfälle im Finanzsystem zu geben - Talebs "schwarze Schwäne". . Die letztgenannten Sätze wurden notorisch unterschätzt.

whuber
quelle
Sehr schön. Ich gehe davon aus, dass dem Ansatz der "Zerlegung" die Annahme der Unabhängigkeit von Fehlern folgen würde. Ich frage mich, wie oft das stimmt (oder dass es empirische Beweise gibt, die dies rechtfertigen).
Karl
1
@Karl Grundsätzlich kann eine gewisse Abhängigkeit zwischen Ausfällen berücksichtigt werden. Ein Weg ist die Fehlerbaumanalyse und die Ereignisbaumanalyse ( ebenda ). Damit dies gelingt, muss man ein vollständiges, genaues Modell des gesamten Systems haben, und selbst dann werden unerwartete seltene exogene Ereignisse nicht berücksichtigt. Die Moral ist, dass jede ehrliche Schätzung der Fehler- / Fehlerrate mit Annahmen stark qualifiziert wird.
whuber
7

Es gibt keine Möglichkeit, eine Fehlerrate <1 / 1.000.000 mit nur 4.000 Versuchen nachzuweisen. Sie müssen irgendwie nach Fehlern suchen (mehr Versuche parallel ausführen und nur Fälle beobachten, die zu einem Fehler führen) oder eine Art von Stress anwenden, der die Wahrscheinlichkeit eines Fehlers erhöht, und dann von gestressten Bedingungen auf normale Bedingungen extrapolieren.

Das würden Genetiker sowieso tun ...

Karl
quelle
1

Im Allgemeinen können Sie nicht. Ich wäre sehr vorsichtig mit Techniken, die behaupten, bei nur Tests eine Fehlerrate von 1/10 nachweisen zu können. Oft geht es bei solchen Techniken darum, irgendwo eine Unabhängigkeit anzunehmen, die sich nicht zuverlässig bestätigen lässt: Es ist nur ein Glaubenssprung. Diese Art von fehlerhaftem Denken hat zu schwerwiegenden Fehlern in der Welt sicherheitskritischer Systeme geführt.1/1064000

Es kann einige Sonderfälle geben, in denen Sie mit einer derart begrenzten Anzahl von Tests das gewünschte Maß an Zuverlässigkeit nachweisen können, z. B. indem Sie etwas über die Physik der Situation berücksichtigen. Aber sie sind selten und diese Art von Argumentation ist fragil.

DW
quelle