Über George Box, Galit Shmueli und die wissenschaftliche Methode?

16

(Diese Frage scheint für die Philosophy SE besser geeignet zu sein. Ich hoffe, dass Statistiker meine Missverständnisse über die Aussagen von Box und Shmueli klären können, daher veröffentliche ich sie hier.)

George Box (von ARIMA) sagte:

"Alle Modelle sind falsch, aber einige sind nützlich."

Galit Shmueli argumentiert in ihrer berühmten Zeitung "To Explain or to Predict" (und zitiert andere, die ihr zustimmen), dass:

Erklären und Vorhersagen sind nicht dasselbe und einige Modelle leisten gute Erklärungen, auch wenn sie keine guten Vorhersagen machen.

Ich halte diese Prinzipien für widersprüchlich.

Wenn ein Modell nicht gut vorhersagt, ist es nützlich?

Noch wichtiger ist, wenn ein Modell gut erklärt (aber nicht unbedingt gut vorhersagt), muss es auf die eine oder andere Weise wahr (dh nicht falsch) sein. Wie passt das zu Box '"Alle Modelle sind falsch"?

Wenn sich ein Modell gut erklärt, aber nicht gut vorhersagt, wie ist es dann überhaupt wissenschaftlich? Die meisten wissenschaftlichen Abgrenzungskriterien (Verifikationismus, Fälschungismus usw.) implizieren, dass eine wissenschaftliche Aussage Vorhersagekraft haben muss oder umgangssprachlich: Eine Theorie oder ein Modell ist nur dann richtig, wenn sie empirisch überprüft (oder verfälscht) werden kann, was bedeutet, dass dies der Fall ist muss zukünftige Ergebnisse vorhersagen.

Meine Fragen:

  • Sind Box 'Aussage und Shmuelis Vorstellungen tatsächlich widersprüchlich, oder fehlt mir etwas, zB kann ein Modell, das noch keine Vorhersagekraft hat, noch nützlich sein?
  • Wenn die Aussagen von Box und Shmueli nicht widersprüchlich sind, was bedeutet es dann für ein Modell, falsch zu sein und nicht gut vorherzusagen, aber dennoch erklärende Kraft zu haben? Anders ausgedrückt: Wenn man sowohl Korrektheit als auch Vorhersagefähigkeit wegnimmt, was bleibt von einem Modell übrig?

R2L1LLp<0.05p<0.1p<0.01

  • Wie kann man auf der Grundlage des oben Gesagten ein Modell objektiv validieren, das gut erklärt, aber nicht gut vorhersagt, da ein Testen außerhalb der Stichprobe nicht möglich ist?
Skander H. - Setzen Sie Monica wieder ein
quelle
Siehe auch eine verwandte Frage: Paradox bei der Modellauswahl (AIC, BIC, zu erklären oder vorherzusagen?) .
Richard Hardy
3
Soweit ich mich erinnern kann, bedeutet es für Shmueli, gut zu erklären , die funktionale Form richtig zu machen (aber möglicherweise eine große Ungenauigkeit bei der Schätzung der Parameter dieser funktionalen Form zu haben), während gut vorherzusagen bedeutet, den Kompromiss zwischen Bias und Varianz zu erzielen richtig (Kompromiss in der funktionalen Form, um die Genauigkeit der Schätzung zu erhöhen). Auch das Tag philosophisch könnte hier nützlich sein.
Richard Hardy
1
Ich denke nicht, dass das "oder" exklusiv sein muss. Einfachheit und Vereinheitlichung sind unumstrittene Auswahlkriterien für Theorien von gleichem Vorhersagewert, und wenn dies der Fall ist, kann es in vielen Zusammenhängen durchaus gerechtfertigt sein, ihre Genauigkeit zu opfern. Das Motto von Box spiegelt eine andere Sicht der Wissenschaft wider, die beispielsweise in van Fraassens Scientific Image (und zurück zu Kant) vertreten wurde: Es geht darum, adäquate / nützliche Beschreibungen des Beobachteten zu konstruieren und keine wörtlich wahren Geschichten über die nicht beobachtbare "Realität" zu erzählen. Grobe Angemessenheit kann für viele Aufgaben ausreichen, und "das richtige Modell" kann durchaus eine naive Erfindung sein.
Conifold
2
@Conifold Tatsächlich opfert Richard Levins 'Schleifenanalyse komplexer Kausalsysteme (keine statistische Methode, obwohl es Anwendungen gibt, die sich direkt auf statistische Vorhersagen beziehen) fast alle Präzision zugunsten des Modellrealismus (Variablen und Beziehungen zwischen ihnen) und der Allgemeinheit (Anwendbarkeit der Analyseergebnisse eines Modells auf alle Variablen mit derselben Kausalstruktur). Siehe Levins, R. (1966). Die Strategie des Modellbaus in der Bevölkerungsbiologie . American Scientist , 54 (4), 421–431.
Alexis
(+1. Ich hoffe immer noch, hier eine Antwort zu finden ...)
sagt Reinstate Monica

Antworten:

9

Lassen Sie mich mit dem markigen Zitat von George Box beginnen, dass "alle Modelle falsch sind, aber einige nützlich sind". Diese Aussage ist eine Zusammenfassung des methodologischen Ansatzes des "Positivismus", der einen in den Wissenschaften sehr einflussreichen philosophischen Ansatz darstellt. Dieser Ansatz wird (im Kontext der Wirtschaftstheorie) im klassischen methodologischen Aufsatz von Friedman (1966) ausführlich beschrieben . In diesem Aufsatz argumentiert Friedman, dass jede nützliche wissenschaftliche Theorie notwendigerweise eine Vereinfachung der Realität darstellt, und daher müssen ihre Annahmen immer bis zu einem gewissen Grad von der Realität abweichen und können sogar wesentlich von der Realität abweichen.die Komplexität der Welt auf eine überschaubare Menge von Prinzipien zu reduzieren und präzise Vorhersagen über die Realität zu treffen und neue überprüfbare Hypothesen über die Realität zu generieren. Daher argumentiert Friedman, dass "alle Modelle falsch sind", insofern sie alle Annahmen enthalten, die die Realität vereinfachen (und daher von ihr abweichen), dass "einige nützlich sind", sofern sie einen einfachen Rahmen für nützliche Vorhersagen über die Realität bieten.

Wenn Sie nun Box (1976) lesen (das Papier, in dem er zuerst feststellt, dass "alle Modelle falsch sind"), werden Sie sehen, dass er weder Friedman zitiert noch methodologischen Positivismus erwähnt. Dennoch kommt seine Erklärung der wissenschaftlichen Methode und ihrer Eigenschaften der von Friedman entwickelten sehr nahe. Insbesondere betonen beide Autoren, dass eine wissenschaftliche Theorie Vorhersagen über die Realität treffen wird, die anhand beobachteter Tatsachen überprüft werden können, und dass der Fehler in der Vorhersage dann als Grundlage für die Überarbeitung der Theorie verwendet werden kann.

Nun zu der von Galit Shmueli in Shmueli (2001) diskutierten Dichotomie . In dieser Arbeit vergleicht Shmueli die kausale Erklärung und Vorhersage der beobachteten Ergebnisse und argumentiert, dass dies unterschiedliche Aktivitäten sind. Insbesondere argumentiert sie, dass Kausalzusammenhänge auf zugrunde liegenden Konstrukten beruhen, die sich nicht direkt in messbaren Ergebnissen manifestieren, und daher „messbare Daten keine genauen Darstellungen ihrer zugrunde liegenden Konstrukte sind“ (S. 293). Sie argumentiert daher, dass es einen Aspekt der statistischen Analyse gibt, der Rückschlüsse auf nicht beobachtbare zugrunde liegende Kausalzusammenhänge beinhaltet, die sich nicht in messbaren kontrafaktischen Unterschieden in den Ergebnissen manifestieren.

Sofern ich nichts falsch verstehe, kann ich mit Recht sagen, dass diese Idee im Spannungsfeld zu den positivistischen Ansichten von Box und Friedman steht, wie sie im Zitat von Box dargestellt sind. Der positivistische Standpunkt besagt im Wesentlichen, dass es keine zulässigen metaphysischen "Konstrukte" gibt, die über diejenigen hinausgehen, die sich in messbaren Ergebnissen manifestieren. Positivismus beschränkt sich auf die Berücksichtigung von beobachtbaren Daten und darauf aufbauenden Konzepten; es schließt die Berücksichtigung von vornherein ausmetaphysische Konzepte. Ein Positivist würde daher argumentieren, dass der Begriff der Kausalität nur insoweit gültig sein kann, als er in Bezug auf messbare Ergebnisse in der Realität definiert ist - insoweit er als etwas anderes definiert ist (wie Shmueli es behandelt). Dies würde als metaphysische Spekulation angesehen und im wissenschaftlichen Diskurs als unzulässig behandelt.

Ich denke, Sie haben Recht - diese beiden Ansätze stehen im Wesentlichen in Konflikt. Der positivistische Ansatz von Box besteht darauf, dass gültige wissenschaftliche Konzepte vollständig in ihren Manifestationen in der Realität begründet sind, während der alternative Ansatz von Shmueli besagt, dass es einige "Konstrukte" gibt, die wichtige wissenschaftliche Konzepte sind (die wir erklären wollen), die dies aber nicht können perfekt vertreten sein, wenn sie "operationalisiert" sind, indem sie mit messbaren Ergebnissen in der Realität in Beziehung gesetzt werden.

Setzen Sie Monica wieder ein
quelle
Genau!!! Shmueli scheint den meisten positivistischen (und verfälschenden) Definitionen einer wissenschaftlichen Aussage zu widersprechen, und ich frage mich, ob ihre Absicht tatsächlich darin besteht, eine so kühne philosophische Aussage zu machen? oder ob sie als Statistikerin nicht weiß, wie kühn ihre Aussagen wirklich sind?
Skander H. - Setzen Sie Monica
Ich habe eine verwandte Frage zur Philosophie SE gestellt .
Skander H. - Setzen Sie Monica
1
Obwohl Positivismus und Pragmatismus antirealistische Züge aufweisen, ist Box letzterer Ansatz, und der Positivismus hat zumindest seit Ende der sechziger Jahre keinen Einfluss auf die Wissenschaften. Aus diesem Grund erwähnt Box weder Friedman noch andere Positivisten. Der Pragmatismus beschränkt sich nicht auf beobachtbare Daten und hat kein Problem mit A-priori- Konzepten oder metaphysischen Konstruktionen. Sie nähern sich einfach nicht der "Realität" und zielen daher auf eindeutig "richtige" Merkmale. Sie können plural, aufgabenabhängig und überprüfbar sein. Kausale Beziehungen sind solche Konstrukte, daher gibt es keinen Konflikt zwischen Box und Shmueli.
Conifold
Ob Box ein Pragmatiker war oder nicht, das besondere Zitat, das er hier gibt, ist meiner Ansicht nach dem Positivismus förderlicher als dem Pragmatismus. Die letztere Philosophie vertritt eine pluralistische Sicht der Metaphysik, die besagt, dass es mehrere kohärente Wege gibt, die Realität zu konzeptualisieren, und dass all diese im Sinne nützlicher Konzeptualisierungen der Realität "wahr" sind. Der Positivismus würde also sagen: "Alle Modelle sind falsch, aber einige sind nützlich", wohingegen die Maxime des Pragmatismus näher wäre: "Viele Modelle sind richtig, weil sie nützlich sind".
Setzen Sie Monica
Die Identifikation von wahr mit nützlich ist nur ein Volksmissverständnis über Pragmatismus. Alle Modelle sind falsch, weil "richtig" nahelegt, dass sie etwas zu entsprechen haben, was Pragmatiker bestreiten. Und das Prinzip der Toleranz, "Modelle haben Recht, solange sie einem Zweck dienen", ist Carnap zu verdanken, dem Vater des logischen Positivismus.
Conifold
4

Ein Modell zur Erklärung von Dingen ist eine Vereinfachung der Realität. Vereinfachung ist nur ein anderes Wort für "auf irgendeine nützliche Weise falsch". Wenn wir zum Beispiel die Zahl 3.1415926535898 auf 3.14 runden, machen wir einen Fehler, aber dieser Fehler ermöglicht es uns Menschen, uns auf den wichtigsten Teil dieser Zahl zu konzentrieren. Auf diese Weise werden Modelle zur Erklärung verwendet. Sie liefern Einblicke in einige Probleme, müssen aber notwendigerweise von vielen anderen Dingen abweichen: Wir Menschen sind einfach nicht sehr gut darin, tausende Dinge gleichzeitig zu betrachten. Wenn es uns in erster Linie um Vorhersagen geht, möchten wir diese Tausenden Dinge einbeziehen, wenn immer dies möglich ist. Die Erklärung des Kompromisses ist jedoch anders.

Maarten Buis
quelle
1
π
1
@SkanderH. In dem Maße, wie "elegante und intuitive Graphen" technische Anwendungen oder die Entwicklung neuer Theorien erleichtern, ist ihr Wert nicht rein subjektiv oder nicht wissenschaftlich, sondern pragmatisch. Vereinheitlichung, Erklärungskraft, Einfachheit und Kohärenz werden allgemein als erkenntnistheoretische und nicht als ästhetische Werte anerkannt . Die Wahl zwischen Lorentz 'Äthertheorie und spezieller Relativitätstheorie wurde aufgrund solcher Überlegungen getroffen, die voraussagbar gleichwertig sind.
Conifold
3

Ein Beispiel für ein Modell, das sich hervorragend vorhersagen lässt, aber nichts erklärt, findet sich im Wikipedia-Artikel „ Alle Modelle sind falsch “. Das Beispiel ist Newtons Gravitationsmodell. Newtons Modell liefert fast immer Vorhersagen, die nicht von empirischen Beobachtungen zu unterscheiden sind. Das Modell ist jedoch äußerst unplausibel: Es postuliert eine Kraft, die über beliebig große Entfernungen augenblicklich wirken kann.

Newtons Modell wurde durch das in Einsteins allgemeiner Relativitätstheorie angegebene Modell ersetzt. Bei der allgemeinen Relativitätstheorie bewegen sich die Gravitationskräfte mit endlicher Geschwindigkeit (Lichtgeschwindigkeit) durch den Raum.

Newtons Modell ist keine Vereinfachung des allgemein-relativistischen Modells. Betrachten Sie zur Veranschaulichung einen Apfel, der von einem Baum herunterfällt. Gemäß der allgemeinen Relativitätstheorie fällt der Apfel, ohne dass die Erde irgendeine Kraft auf den Apfel ausübt. (Der Hauptgrund, warum der Apfel fällt, ist, dass die Erde die Zeit verzieht, so dass die Uhren in der Nähe der Basis des Baumes langsamer laufen als die Uhren in der Höhe des Baumes.) Wie der Wikipedia-Artikel feststellt, ist Newtons Modell völlig falsch in einer Erklärung Perspektive.

Die Arbeit von Shmueli [2010] geht davon aus, dass es zwei Zwecke für ein Modell gibt: Vorhersage und Erklärung. Tatsächlich haben mehrere Autoren angegeben, dass es drei Zwecke gibt (siehe z. B. Konishi & Kitagawa [ Informationskriterien und statistische Modellierung , 2008 : § 1.1] und Friendly & Meyer [ Diskrete Datenanalyse , 2016: § 11.6]). Die drei Zwecke entsprechen den drei Arten der logischen Argumentation:

  • Vorhersage (entsprechend Abzug);
  • Parameterschätzung (entsprechend Induktion);
  • Beschreibung der Struktur (entsprechend der Abduktion).
SolidPhase
quelle
Zu sagen, dass Newtons Gravitationsmodell "nichts erklärt", ist offen gesagt lächerlich. -1.
Amöbe sagt Reinstate Monica
Amöben, Newtons Modell erklärt nichts darüber, wie Gravitation funktioniert, unter der Annahme, dass die allgemeine Relativitätstheorie korrekt ist. Wenn ein Apfel fällt, postuliert Newtons Modell, dass die Erde eine Kraft auf den Apfel ausübt und dass dieses Postulat völlig falsch ist. Ich bitte Sie, meine Antwort weiter zu überdenken. Wenn Sie immer noch nicht verstehen, sagen Sie mir bitte, was unklar ist.
SolidPhase,
Was Sie sagen, ist ganz klar, aber ich stimme dem überhaupt nicht zu.
Amöbe sagt Reinstate Monica
amöbe, ich bitte dich zu erklären, warum du nicht einverstanden bist: hast du einen grund (Beachten Sie, dass ich der Antwort einen zusätzlichen Satz hinzugefügt habe.)
SolidPhase,
Vielen Dank. Ich werde die Referenzen nachschlagen, die Sie erwähnen. Ich verstehe, wie ein Modell vorhersagen kann, auch wenn es nicht erklärt. Was ich nicht verstehe, ist die entgegengesetzte Richtung: Wie kann ein Modell erklären, ohne es vorherzusagen? Sie Newton vs. Einstein-Beispiele trüben einfach alles noch mehr: Der ganze Grund, warum Einsteins Theorie Newtons verdrängte, war, dass sie besser voraussagte. Betrachten Sie es anders: Wenn wir konkurrierende Erklärungsmodelle haben, wie können wir sie bewerten, es sei denn, wir testen, welches die größte Vorhersagekraft hat?
Skander H. - Setzen Sie Monica
1

Ich habe ein Grundstudium in Statistik abgeschlossen und werde mich daher nicht als Experte bezeichnen, aber hier sind meine zwei Cent.

Modelle erklären sich nicht; Menschen interpretieren sie. Lineare Modelle sind einfacher zu verstehen als neuronale Netze und Zufallswälder, da sie näher an der Art und Weise sind, wie wir Entscheidungen treffen. In der Tat ahmen ANNs das menschliche Gehirn nach, aber Sie entscheiden nicht, in welches Restaurant Sie morgen gehen, indem Sie eine Reihe von Matrixmultiplikationen durchführen. Stattdessen gewichten Sie einige Faktoren in Ihrem Kopf nach ihrer Wichtigkeit, was im Wesentlichen eine lineare Kombination ist.

"Erklärungskraft" misst, wie gut ein Modell mit der Intuition des Menschen zurechtkommt, während "Vorhersagekraft" misst, wie gut es mit dem zugrunde liegenden Mechanismus des interessierenden Prozesses übereinstimmt. Der Widerspruch zwischen ihnen ist im Wesentlichen die Kluft zwischen dem, was die Welt ist und wie wir sie wahrnehmen / verstehen können. Ich hoffe, dies erklärt, warum "einige Modelle gut erklären, obwohl sie schlecht vorhersagen können".

Ian Stewart sagte einmal: "Wenn unser Gehirn so einfach wäre, dass wir es verstehen könnten, wären wir so einfach, dass wir es nicht könnten." Leider sind unsere kleinen menschlichen Gehirne im Vergleich zum Universum oder sogar zu einer Börse (an der viele Gehirne beteiligt sind) sehr einfach. Bis jetzt sind alle Modelle Produkte des menschlichen Gehirns, daher muss es mehr oder weniger ungenau sein, was zu Box 'Alle Modelle sind falsch' führt. Andererseits muss ein Modell nicht technisch korrekt sein, um nützlich zu sein. Zum Beispiel wurden Newtons Bewegungsgesetze von Einstein widerlegt, aber es bleibt nützlich, wenn ein Objekt nicht lächerlich groß oder schnell ist.

Um Ihre Frage zu beantworten, kann ich ehrlich gesagt die Inkompatibilität zwischen Box und Shmuelis Punkten nicht erkennen. Es scheint, dass Sie "Erklärungskraft" und "Vorhersagekraft" als binomische Eigenschaften betrachten, aber ich denke, sie sitzen an den beiden Enden eines Spektrums.

nalzok
quelle