Inferenz vs. Schätzung?

30

Was sind die Unterschiede zwischen "Inferenz" und "Schätzung" im Kontext des maschinellen Lernens ?

Als Neuling, ich glaube , dass wir folgern Zufallsvariablen und schätzen die Modellparameter. Ist mein Verständnis richtig?

Wenn nicht, was genau sind die Unterschiede und wann soll ich welche verwenden?

Und welches ist das Synonym für "lernen"?

Spielende Geschwister
quelle
Ich habe diese Antwort auf Quora gefunden und bin mir nicht sicher, ob sie korrekt ist.
Sibbs Gambling
4
Maschinelles Lernen ist nur eine automatisierte Statistik (meiner Meinung nach), daher bin ich mir nicht sicher, ob die Definitionen in der Statistik allgemein
abweichen
5
In der kanonisch- statistischen Literatur wird klar und einheitlich zwischen der Schlussfolgerung von Eigenschaften eines vermuteten zugrunde liegenden Modells (in einem entscheidungs-theoretischen Rahmen) und der Vorhersage von Werten von Zufallsvariablen unterschieden. Schätzung ist eine besondere Art von Inferenz. Dies steht im Gegensatz zur Exploration und in gewissem Maße zum Testen von Hypothesen. "Lernen" als transitives Verb hat keine statistische Standardbedeutung.
whuber
@whuber, ein dummer Vorschlag - machen Sie es eine Antwort? ..
StasK
2
@StasK Es wäre - außer es geht nicht um die Frage, die eher nach maschinellem Lernen als nach Statistiken fragt . Ich habe diesen Kommentar angeboten, um einen kleinen Hintergrund für das Verständnis und die Bewertung der ML-Antworten bereitzustellen, zumal einige dieser Antworten offenbar nicht standardmäßige Unterschiede zwischen Inferenz, Schätzung und Vorhersage aufweisen.
whuber

Antworten:

30

Die statistische Schlussfolgerung wird aus der gesamten Sammlung von Schlussfolgerungen gezogen, die man aus einem gegebenen Datensatz und einem zugehörigen hypothetischen Modell ziehen kann, einschließlich der Anpassung des Modells. Um aus Wikipedia zu zitieren ,

Inferenz ist die Handlung oder der Prozess des Ableitens logischer Schlussfolgerungen aus Prämissen, die bekannt sind oder als wahr angenommen werden.

und,

Die statistische Inferenz verwendet die Mathematik, um bei vorhandener Unsicherheit Schlussfolgerungen zu ziehen.

Die Schätzung ist nur ein Aspekt der Schlussfolgerung, bei dem unbekannte Parameter (die dem hypothetischen Modell zugeordnet sind, das die Daten generiert hat) durch optimale Lösungen auf der Grundlage der Daten (und möglicherweise vorherigen Informationen zu diesen Parametern) ersetzt werden. Sie sollte immer mit einer Bewertung der Unsicherheit der gemeldeten Schätzungen verbunden sein, die ein wesentlicher Bestandteil der Schlussfolgerung ist.

Die maximale Wahrscheinlichkeit ist ein Beispiel für eine Schätzung, deckt jedoch nicht die gesamte Folgerung ab. Im Gegensatz dazu bietet die Bayes'sche Analyse eine vollständige Inferenzmaschine.

Xi'an
quelle
4
+1 speziell für "Es sollte immer mit einer Bewertung der Unsicherheit der gemeldeten Schätzungen einhergehen", was beim maschinellen Lernen und in der "Datenwissenschaft" nicht der Fall ist. Ein einfaches Benchmarking mit einem bekannten Datensatz ist das nicht.
Momo
4

Während die Schätzung per se darauf abzielt, Werte der unbekannten Parameter zu erhalten (z. B. Koeffizienten in der logistischen Regression oder in der trennenden Hyperebene in Unterstützungsvektormaschinen), versucht die statistische Folgerung , ein Maß für die Unsicherheit und / oder eine Wahrscheinlichkeitsangabe anzufügen die Werte der Parameter (Standardfehler und Konfidenzintervalle). Wenn das vom Statistiker angenommene Modell annähernd korrekt ist und die neu eingehenden Daten weiterhin diesem Modell entsprechen, können die Ungewissheitsaussagen einen gewissen Wahrheitsgehalt haben und ein Maß dafür liefern, wie oft Sie bei der Verwendung von Fehler machen Modell, um Ihre Entscheidungen zu treffen.

Die Quellen der Wahrscheinlichkeitsaussagen sind zweifach. Manchmal kann man eine zugrunde liegende Wahrscheinlichkeitsverteilung von allem, was Sie messen, annehmen und mit etwas mathematischer Hexerei (multivariate Integration einer Gaußschen Verteilung usw.) die Wahrscheinlichkeitsverteilung des Ergebnisses erhalten (der Stichprobenmittelwert der Gaußschen Daten ist selbst Gaußsch ). Konjugierte Priors fallen in der Bayes'schen Statistik in diese Kategorie der Hexerei. In anderen Fällen muss man sich auf die asymptotischen Ergebnisse (große Stichprobe) verlassen, die besagen, dass sich die Dinge in einer ausreichend großen Stichprobe auf eine bestimmte Weise verhalten müssen (zentraler Grenzwertsatz: Stichprobenmittelwert der Daten, die mit dem Mittelwert iid sind. und Varianz ist ungefähr Gaußsch mit Mittelwert und Varianzσ 2 μ σ 2 / nμσ2μσ2/n unabhängig von der Form der Verteilung der Originaldaten).

Das maschinelle Lernen kommt der Kreuzvalidierung am nächsten, wenn die Stichprobe in die Teile Training und Validierung aufgeteilt wird, wobei letztere effektiv sagt: "Wenn die neuen Daten wie die alten Daten aussehen, aber völlig unabhängig von den Daten sind, die sie enthalten Wurde beim Einrichten meines Modells ein realistisches Maß für die Fehlerrate verwendet, so und so ". Es wird vollständig empirisch abgeleitet, indem dasselbe Modell für die Daten ausgeführt wird, anstatt zu versuchen, die Eigenschaften des Modells zu erschließen, indem statistische Annahmen getroffen werden und mathematische Ergebnisse wie die obige CLT einbezogen werden. Wahrscheinlich ist dies ehrlicher, aber da weniger Informationen verwendet werden und daher größere Stichproben erforderlich sind. Außerdem wird implizit davon ausgegangen, dass sich der Prozess nicht ändert.

Auch wenn der Ausdruck "Rückschluss auf den posterioren" möglicherweise Sinn macht (ich bin kein Bayesianer, ich kann nicht wirklich sagen, wie die akzeptierte Terminologie lautet), denke ich, dass es nicht wesentlich ist, in diesem Rückschlussschritt Annahmen zu treffen. Alle Bayes'schen Annahmen sind (1) im vorherigen und (2) im angenommenen Modell, und sobald sie aufgestellt sind, folgt der hintere Teil automatisch (zumindest theoretisch über den Bayes'schen Satz; die praktischen Schritte können sehr kompliziert sein, und Sipps Gambling ... entschuldigen Sie, Gibbs Sampling kann eine relativ einfache Komponente sein, um zu diesem posterior zu gelangen. Wenn sich "Rückschlüsse auf den posterioren" auf (1) + (2) bezieht, dann ist dies für mich eine Art statistische Folgerung. Wenn (1) und (2) getrennt angegeben werden und "Rückschluss auf den Seitenzahn" etwas anderes ist, dann gebe ich

StasK
quelle
2

Angenommen, Sie haben eine repräsentative Stichprobe einer Population.

Inferenz ist, wenn Sie diese Stichprobe verwenden, um ein Modell zu schätzen und anzugeben, dass die Ergebnisse mit einer bestimmten Genauigkeit auf die gesamte Grundgesamtheit ausgedehnt werden können. Rückschlüsse zu ziehen bedeutet, Annahmen über eine Population zu treffen, indem nur eine repräsentative Stichprobe verwendet wird.

Die Schätzung erfolgt, wenn Sie ein Modell auswählen, das zu Ihrer Datenstichprobe passt, und die Modellparameter mit einer bestimmten Genauigkeit berechnen. Dies wird als Schätzung bezeichnet, da Sie niemals die wahren Werte der Parameter berechnen können, da Sie nur eine Datenstichprobe haben und nicht die gesamte Grundgesamtheit.

Lorelai
quelle
"Inferenz ist, wenn Sie eine Stichprobe verwenden, um ein Modell zu schätzen" (und damit seine Parameter zu schätzen). "Schätzung ist, wenn Sie ... die Parameter des Modells berechnen". Sehen Sie einen Unterschied?
Nr.
2

Dies ist ein Versuch, eine Antwort für Personen ohne statistischen Hintergrund zu geben. Für diejenigen, die an weiteren Details interessiert sind, gibt es viele nützliche Referenzen ( wie zum Beispiel diese ) zu diesem Thema.

Kurze Antwort:

Schätzung Unbekannte Werte (Schätzungen) für das betreffende Thema finden>

Statistische Inferenz Verwenden Sie die Wahrscheinlichkeitsverteilung des interessierenden Subjekts, um probabilistische Schlussfolgerungen zu ziehen>

Lange Antwort:

Der Begriff "Schätzung" wird häufig verwendet, um den Prozess des Findens einer Schätzung für einen unbekannten Wert zu beschreiben, während "Inferenz" häufig statistische Inferenz bezeichnet, einen Prozess des Auffindens von Verteilungen (oder Merkmalen) von Zufallsvariablen und ihrer Verwendung, um Schlussfolgerungen zu ziehen.

Stellen Sie sich die Frage: Wie groß ist die durchschnittliche Person in meinem Land?

Wenn Sie sich für eine Schätzung entscheiden, können Sie ein paar Tage lang herumlaufen und Fremde messen, die Sie auf der Straße treffen (eine Stichprobe erstellen), und dann Ihre Schätzung zum Beispiel als Durchschnitt Ihrer Stichprobe berechnen. Sie haben gerade eine Schätzung vorgenommen!

Auf der anderen Seite möchten Sie vielleicht mehr als eine Schätzung finden, von der Sie wissen, dass sie eine einzelne Zahl ist und mit Sicherheit falsch ist. Sie könnten versuchen, die Frage mit einer gewissen Sicherheit zu beantworten, beispielsweise: Ich bin mir zu 99% sicher, dass die durchschnittliche Körpergröße einer Person in meinem Land zwischen 1,60 m und 1,90 m liegt.

Um einen solchen Anspruch geltend zu machen, müssten Sie die Höhenverteilung der Personen, denen Sie begegnen, abschätzen und Ihre Schlussfolgerungen auf der Grundlage dieses Wissens ziehen - das die Grundlage für statistische Schlussfolgerungen darstellt.

Das Entscheidende (wie in Xi'ans Antwort ausgeführt) ist, dass das Auffinden eines Schätzers Teil der statistischen Inferenz ist.

Mittel zur Bedeutung
quelle
1
"Wie groß wird die nächste zufällige Person sein" ist eher eine Frage der statistischen Vorhersage als der Schätzung. "Was ist die Reichweite der mittleren 95% aller Menschen" ist eine (Intervall-) Schätzung. Obwohl die beiden Fragen (und Lösungsmethoden) eng miteinander verbunden sind und sich ähneln, unterscheiden sie sich in einigen wichtigen Punkten - und werden auch unterschiedlich beantwortet. Der Unterschied ergibt sich aus der Zufälligkeit der nächsten Person in der ersten Frage, die in der zweiten Frage nicht vorhanden ist.
whuber
Ich stimme zu, dass die Beispiele nicht ideal sind. Angesichts der Art der Frage habe ich versucht, Beispiele zu nennen, mit denen ein Nicht-Statistiker sehr vertraut ist. Meine direkteste Antwort auf "Schätzung" wäre, dass die Parameter eines statistischen Modells angepasst werden müssen, aber dann würde ich die Begriffe "Anpassung" und "statistisches Modell" einführen, die beide einer Erläuterung bedürfen. Am Ende des Tages würde ich eine Vorhersage, wie sie im Beispiel beschrieben ist, immer noch als (Punkt-) Schätzung betrachten.
Mittel zur Bedeutung
Das Beispiel wurde dahingehend geändert, dass es keine Vorhersage enthält.
Mittel zur Bedeutung
1

Nun, es gibt Leute aus verschiedenen Disziplinen, die ihre Karriere im Bereich ML machen, und es ist wahrscheinlich, dass sie etwas andere Dialekte sprechen.

Unabhängig von den verwendeten Begriffen sind die dahinter stehenden Konzepte jedoch unterschiedlich. Es ist daher wichtig, diese Konzepte klar zu formulieren und diese Dialekte dann so zu übersetzen, wie Sie es bevorzugen.

Z.B.

In PRML von Bishop,

Inferenzphase, in der wir Trainingsdaten verwenden, um ein Modell für zu lernenp(Ck|x)

So scheint es, dass hier Inference= Learning=Estimation

Aber in einer anderen Material, Inferenz aus Schätzungs unterscheiden kann, wo inferenceMittel predictionwährend estimationMittel des Lernverfahren der Parameter.

Response777
quelle
0

Im Kontext des maschinellen Lernens bezieht sich Inferenz auf das Auffinden von Einstellungen latenter (versteckter) Variablen unter Berücksichtigung Ihrer Beobachtungen. Dies beinhaltet auch die Bestimmung der posterioren Verteilung Ihrer latenten Variablen. Die Schätzung scheint mit einer "Punktschätzung" verbunden zu sein, die die Modellparameter bestimmt. Beispiele hierfür sind Schätzungen der maximalen Wahrscheinlichkeit. In der Erwartungsmaximierung (EM) führen Sie im Schritt E eine Folgerung aus. Im Schritt M führen Sie eine Parameterschätzung durch.

Ich glaube, ich höre Leute sagen, dass sie eher auf die hintere Verteilung schließen als auf die hintere Verteilung abschätzen. Letzteres wird nicht in der üblichen exakten Folgerung verwendet. Es wird zum Beispiel bei der Ausbreitung von Erwartungen oder bei Bayes-Variationen verwendet, bei denen die Schlussfolgerung eines exakten Seitenzahns nicht möglich ist und zusätzliche Annahmen zum Seitenzahn getroffen werden müssen. In diesem Fall ist der abgeleitete hintere Teil ungefähr. Die Leute können sagen "approximieren den hinteren" oder "schätzen den hinteren".

Das alles ist nur meine Meinung. Das ist keine Regel.

wij
quelle
0

Ich möchte die Antworten anderer ergänzen, indem ich den Teil "Inferenz" erweitere. Im Kontext des maschinellen Lernens ist die Schätzung der Unsicherheit ein interessanter Aspekt der Inferenz. Bei ML-Algorithmen ist es im Allgemeinen schwierig: Wie wird eine Standardabweichung auf dem Klassifizierungsetikett angegeben, das ein neuronales Netz oder ein Entscheidungsbaum ausgibt? In der traditionellen Statistik können wir anhand von Verteilungsannahmen rechnen und herausfinden, wie die Unsicherheit in den Parametern zu bewerten ist. In ML gibt es möglicherweise keine Parameter, keine Verteilungsannahmen oder keine.

An diesen Fronten wurden einige Fortschritte erzielt, einige davon in jüngster Zeit (jünger als die aktuellen Antworten). Eine Möglichkeit ist, wie andere bereits erwähnt haben, die Bayes'sche Analyse, bei der Ihr Posterior Unsicherheitsschätzungen liefert. Bootstrap-Methoden sind nett. Stefan Wager und Susan Athey aus Stanford haben einige Arbeiten der letzten Jahre in Auftrag gegeben, um Rückschlüsse auf zufällige Wälder zu ziehen . Analogerweise ist BART eine Methode des Bayes'schen Baumensembles, die einen posterioren Wert ergibt, aus dem Rückschlüsse gezogen werden können.

Sheridan Grant
quelle