Verlässt sich ANOVA auf die Methode der Momente und nicht auf die maximale Wahrscheinlichkeit?

13

Ich sehe an verschiedenen Stellen erwähnt, dass ANOVA seine Schätzung mit der Methode der Momente durchführt.

Diese Behauptung verwirrt mich, denn obwohl ich mit der Methode der Momente nicht vertraut bin, verstehe ich, dass sie etwas anderes ist als die Methode der maximalen Wahrscheinlichkeit und nicht gleichwertig damit. Andererseits kann ANOVA als lineare Regression mit kategorialen Prädiktoren angesehen werden, und die OLS-Schätzung von Regressionsparametern ist die höchste Wahrscheinlichkeit.

So:

  1. Was qualifiziert ANOVA-Verfahren als Methode der Momente?

  2. Ist ANOVA angesichts der Tatsache, dass sie OLS mit kategorialen Prädiktoren entspricht, nicht die höchste Wahrscheinlichkeit?

  3. Wenn sich diese beiden Methoden im Sonderfall der üblichen ANOVA als gleichwertig herausstellen, gibt es dann bestimmte ANOVA-Situationen, in denen der Unterschied wichtig wird? Unausgeglichenes Design? Wiederholte Maßnahmen? Gemischtes Design (zwischen Fächern + innerhalb von Fächern)?

Amöbe sagt Reinstate Monica
quelle
4
In der einfachen Einstellung und mit "einfach" meine ich "Einweg- und Zweiweg-ANOVA" wird die ANOVA aus einer LRT unter Normalverteilungen mit gleichen Varianzen abgeleitet, sodass mit maximaler Wahrscheinlichkeit gearbeitet wird. Natürlich stimmen im Normalfall die Schätzer mle und mom überein, so dass die Unterscheidung nicht von großer Bedeutung ist. In den komplexeren Umgebungen verlassen wir uns jedoch nicht auf die Ableitung von LRTs, sondern auf die OLS-Regression. Das OLS ist nur das mle unter einer Normalverteilung und ist ein Mutterschätzer in der allgemeineren Einstellung, wenn wir die Orthogonalität mit den Residuen auferlegen, das heißt.
JohnK
1
@JohnK, vielen Dank für Ihren Kommentar, aber ich habe Schwierigkeiten, einige Teile davon zu verstehen, insbesondere den zweiten Teil: Was sind "komplexere Einstellungen", in denen sich ANOVA auf OLS anstatt auf LRT stützt (und warum)? Warum ist OLS nicht MLE in dieser "allgemeineren Einstellung" - Ich dachte, dass normale Fehler in jedem ANOVA-Szenario immer angenommen werden? Was muss Orthogonalität mit den Residuen tun? Ich würde mich sehr freuen, wenn Sie Ihren Kommentar zu einer Antwort erweitern würden.
Amöbe sagt Reinstate Monica
2
@Amöbe. Ich habe meine Antwort überarbeitet, um Ihren ersten Punkt zu behandeln, wonach ANOVA eine Methode zur Abschätzung von Momenten ist. Das gilt nur für zufällige Effekte.
Placidia

Antworten:

12

Die ANOVA habe ich 1978 als Masterstudent in Oxford kennengelernt. Moderne Ansätze, bei denen kontinuierliche und kategoriale Variablen im multiplen Regressionsmodell unterrichtet werden, erschweren es jüngeren Statistikern zu verstehen, was vor sich geht. Es kann also hilfreich sein, zu einfacheren Zeiten zurückzukehren.

In ihrer ursprünglichen Form ist die ANOVA eine Rechenübung, bei der Sie die Gesamtsumme der Quadrate in Teile zerlegen, die mit Behandlungen, Blöcken, Wechselwirkungen usw. in Verbindung stehen. In einer ausgeglichenen Einstellung addieren sich Quadratsummen mit einer intuitiven Bedeutung (wie SSB und SST) zur angepassten Gesamtsumme der Quadrate. All dies funktioniert dank Cochrans Theorem . Mit Cochran können Sie die erwarteten Werte dieser Terme unter den üblichen Nullhypothesen berechnen, und die F-Statistiken fließen von dort ab.

Als Bonus ist es sinnvoll, wenn Sie erst einmal über Cochran und Quadratsummen nachdenken, Ihre Behandlungssummen mit orthogonalen Kontrasten weiter aufzuschneiden und zu würfeln. Jeder Eintrag in der ANOVA-Tabelle sollte eine Interpretation des Interesses für den Statistiker enthalten und eine überprüfbare Hypothese liefern.

Ich habe kürzlich eine Antwort geschrieben, in der der Unterschied zwischen MOM- und ML-Methoden festgestellt wurde. Die Frage drehte sich um die Schätzung von Zufallseffektmodellen. Zu diesem Zeitpunkt teilt der traditionelle ANOVA-Ansatz das Unternehmen vollständig mit der Maximalwahrscheinlichkeitsschätzung, und die Schätzungen der Auswirkungen sind nicht mehr dieselben. Wenn das Design nicht ausgeglichen ist, erhalten Sie auch nicht die gleichen F-Statistiken.

σp2σ2σ2+nσp2nσb2^. Die ANOVA liefert eine Methode zum Abschätzen von Momenten für die zufällige Effektvarianz. Wir neigen nun dazu, solche Probleme mit Mischeffektmodellen zu lösen, und die Varianzkomponenten werden durch Maximum-Likelihood-Schätzung oder REML erhalten.

Die ANOVA als solche ist keine Methode der Momentaufnahme. Dabei wird die Summe der Quadrate (oder allgemeiner eine quadratische Form der Antwort) in Komponenten aufgeteilt, die aussagekräftige Hypothesen liefern. Dies hängt stark von der Normalität ab, da die Quadratsummen Chi-Quadrat-Verteilungen haben sollen, damit die F-Tests funktionieren.

Der Maximalwahrscheinlichkeitsrahmen ist allgemeiner und gilt für Situationen wie verallgemeinerte lineare Modelle, in denen Quadratsummen nicht zutreffen. Einige Software (wie R) führen zu Verwirrung, indem sie Anova-Methoden zu Likelihood-Ratio-Tests mit asymptotischen Chi-Quadrat-Verteilungen spezifizieren. Man kann die Verwendung des Begriffs "Anova" rechtfertigen, aber genau genommen ist die Theorie dahinter anders.

Placidia
quelle
2
Der F-Test der Einweg- und Zweiweg -ANOVA ist ein Likelihood-Ratio-Test, und Sie können Hogg und Craig, Einführung in die mathematische Statistik, Kapitel 9, zu Rate ziehen, wenn Sie mir nicht glauben. Darüber hinaus ist der in der normalen Regression verwendete F-Test auch ein LRT, zahlreiche Referenzen dafür gibt es.
JohnK
1
Ich werde es prüfen. Vorerst habe ich den Absatz entfernt.
Placidia
1
+1, vielen Dank für die Antwort. Es ist übrigens genau Ihre verknüpfte Antwort, die meine Frage ausgelöst hat. Es gibt viele Dinge, die ich in dem, was Sie geschrieben haben, nicht ganz verstehe. Ich werde über Neujahr reisen und keine Zeit haben, darüber nachzudenken, aber ich werde auf diesen Thread zurückkommen, sobald ich im Januar zurück bin. In der Zwischenzeit möchte ich @JohnK noch einmal ermutigen, eine Antwort zu schreiben, die die Punkte, die er in den Kommentaren gemacht hat, erweitert. Ich würde mich besonders über eine technische Erklärung freuen, vielleicht mit einem speziellen Beispiel. Frohe Weihnachten und ein gutes neues Jahr euch allen!
Amöbe sagt Reinstate Monica
1
Frohe Weihnachten euch auch. In meinem verlinkten Beitrag habe ich nur über die Schätzung der zufälligen Effektvarianz nachgedacht, die im herkömmlichen Ansatz MOM ist. Tut mir leid, wenn meine Bemerkung allgemeiner klang, als ich beabsichtigt hatte.
Placidia
2
Nach 1,5 Jahren habe ich deine Antwort noch einmal gelesen und festgestellt, dass es ziemlich klar ist, also habe ich sie endlich als akzeptiert markiert :-) Prost.
Amöbe sagt Reinstate Monica