Gibt es eine Modellanpassungsstatistik (wie AIC oder BIC), die für absolute statt nur für relative Vergleiche verwendet werden kann?

Ich bin mit dieser Literatur nicht so vertraut. Bitte verzeihen Sie mir, wenn dies eine offensichtliche Frage ist.

Da AIC und BIC von der Maximierung der Wahrscheinlichkeit abhängen, können sie anscheinend nur verwendet werden, um relative Vergleiche zwischen einer Reihe von Modellen anzustellen, die versuchen, zu einem bestimmten Datensatz zu passen. Nach meinem Verständnis wäre es nicht sinnvoll, den AIC für Modell A für Datensatz 1 zu berechnen, den AIC für Modell B für Datensatz 2 zu berechnen und dann die beiden AIC-Werte zu vergleichen und dies zu beurteilen (zum Beispiel). Modell A passt besser zu Datensatz 1 als Modell B zu Datensatz 2. Oder ich irre mich, und das ist eine vernünftige Sache. Lass es mich wissen, bitte.

Meine Frage lautet: Gibt es eine Modellanpassungsstatistik, die für absolute statt nur für relative Vergleiche verwendet werden kann? Für lineare Modelle würde so etwas wie funktionieren; Es hat einen definierten Bereich und disziplinspezifische Vorstellungen darüber, was ein "guter" Wert ist. Ich suche etwas allgemeineres und dachte, ich könnte damit beginnen, die Experten hier anzupingen. Ich bin mir sicher, dass jemand schon einmal darüber nachgedacht hat, aber ich kenne nicht die richtigen Begriffe, um eine produktive Suche in Google Scholar durchzuführen. $R^2$

Jede Hilfe wäre dankbar.

model-selection aic bic Nathan VanHoudnos
quelle

Wenn Modell A zu Datensatz 1 und Modell B zu Datensatz 2 passt, gibt es überhaupt nichts zu vergleichen: Die Modelle und die Daten sind völlig unterschiedlich. Was genau versuchst du zu erreichen? Übrigens ist in dieser Hinsicht schlimmer als nutzlos; Für einige Kritik siehe stats.stackexchange.com/questions/13314/…

R^{2}

$R^2$

whuber

Was meinen Sie mit etwas "Allgemeinerem"? Können Sie ein Beispiel für die otye-Modelltypen geben, auf die Sie möglicherweise erweitern möchten? Einige Modelle lassen sich leicht an einen Ansatz anpassen , z. B. niedrige Anpassungen, andere sind jedoch recht schwierig, z. B. Anpassungen von Binomialdaten.

R^{2}

$R^2$

Russellpierce

@whuber Wow, das ist eine großartige Antwort auf die Frage! Abgesehen von seinen Unzulänglichkeiten wird verwendet, um zu sagen, dass ihr Modell im "absoluten" Sinne "gut" ist (z. B. "Mein ist so und so, was besser ist als das, was man normalerweise sieht ..." "). Ich suche nach einer gerechtfertigten (und allgemeineren) Statistik als , um denselben Zweck zu erreichen (z. B. "Meine MagicStatistic ist so und so, was besser ist ...). Mein erster naiver Gedanke war, so etwas zu tun Normalisierung eines k-fachen Kreuzvalidierungswerts, aber es scheint nicht so, als hätte jemand so etwas getan (daher ist es wahrscheinlich keine gute Idee).

R^{2}

$R^2$

R^{2}

$R^2$

R^{2}

$R^2$

R^{2}

$R^2$

Nathan VanHoudnos

@ Nathan Ich möchte nicht so klingen, als würde ich in einem Punkt harfen oder davon besessen sein - ich bin es nicht -, aber mir fällt ein, dass Leute, die , um ihr Modell zu behaupten, absolut gut sind Sinn könnte oft ... falsch sein. Eine Lehre aus ist, dass eine Modellanpassungsstatistik nur im Kontext des Datensatzes interpretierbar ist. Wenn zwei Datensätze möglicherweise nichts gemeinsam haben, was würde es dann wirklich bedeuten, zwei solcher Statistiken zu vergleichen? Um Ihre Frage beantworten zu können, müssen wir Annahmen darüber treffen, wie die beiden Datensätze miteinander in Beziehung stehen könnten. Irgendwelche Vorschläge?

R^{2}

$R^2$

R^{2}

$R^2$

whuber

Das einzige, was ich mir im Bereich Ihrer Rede vorstellen kann, ist das Maß für die Vorhersagegenauigkeit. Die Qualität von zwei Modellen auf zwei verschiedenen Datensätzen könnte möglicherweise verglichen werden, anhand derer man am besten vorhersagt, obwohl dies auch nicht perfekt ist.

Makro

Ich denke, es gibt einige neue Artikel, die genau untersuchen, wonach Sie suchen. Nakagawa und Schielzeth (2013) präsentieren eine R²-Statistik für Modelle mit gemischten Effekten namens "R2 GLMM", um das Ausmaß der ungeklärten Varianz in einem Modell zu definieren.

Bedingtes R²GLMM wird als Varianz interpretiert, die sowohl durch feste als auch durch zufällige Faktoren erklärt wird.

Das marginale R²GLMM repräsentiert die Varianz, die durch feste Faktoren erklärt wird.

Im Jahr 2014 aktualisierte Johnson die Gleichung, um Modelle mit zufälligen Steigungen zu berücksichtigen.

Glücklicherweise können Sie mit dem Paket "MuMIn" in R ( Barton, 2015 ) sowohl marginale als auch bedingte R²GLMM leicht berechnen .

Nova
quelle

Gibt es eine Modellanpassungsstatistik (wie AIC oder BIC), die für absolute statt nur für relative Vergleiche verwendet werden kann?

Antworten: