Regression und maschinelles Lernen werden in den Naturwissenschaften verwendet, um Hypothesen zu testen, Parameter zu schätzen und Vorhersagen zu treffen, indem Modelle an Daten angepasst werden. Wenn ich jedoch ein A-priori- Modell habe, möchte ich keine Anpassung vornehmen - zum Beispiel ein Modell eines deterministischen physikalischen Systems, das aus ersten Prinzipien berechnet wird. Ich möchte einfach nur wissen, wie gut mein Modell mit den Daten übereinstimmt, und dann verstehen, welche Teile des Modells wesentlich zur Übereinstimmung beitragen. Könnte mich jemand auf einen statistisch strengen Weg hinweisen, dies zu tun?
Nehmen wir genauer an, ich habe ein physikalisches System, für das ich eine abhängige Variable ( reicht von 1 bis , die Stichprobengröße) unter verschiedenen Bedingungen gemessen habe , die durch drei unabhängige Variablen , und x_ {3, i} . Obwohl das reale System, das die Daten generiert hat, kompliziert ist, habe ich einige vereinfachende Annahmen getroffen, um ein theoretisches Modell f für das System abzuleiten , so dass
,
Dabei ist eine nichtlineare (und nicht linearisierbare) Funktion der unabhängigen Variablen und die Differenz zwischen den vom Modell vorhergesagten und den gemessenen Werten. ist vollständig vorgegeben; Es erfolgt keine Anpassung und es werden keine Parameter geschätzt. Mein erstes Ziel ist es festzustellen, ob ein vernünftiges Modell für den Prozess ist, der die gemessenen Werte .
Ich habe auch vereinfachte Modelle und , die in verschachtelt sind (falls dies in diesem Fall wichtig ist). Mein zweites Ziel ist es festzustellen, ob signifikant besser mit den Daten übereinstimmt als oder , was darauf hindeutet, dass die Merkmale, die das Modell von den Modellen und , eine wichtige Rolle in dem Prozess spielen, der erzeugt .
Ideen bisher
Wenn es eine Möglichkeit gäbe, die Anzahl der Parameter oder die Freiheitsgrade für mein mathematisches Modell zu bestimmen, könnten möglicherweise vorhandene Verfahren wie ein Likelihood-Ratio-Test oder ein AIC-Vergleich verwendet werden. Angesichts der nichtlinearen Form von und des Fehlens offensichtlicher Parameter bin ich mir jedoch nicht sicher, ob es sinnvoll ist, Parameter zuzuweisen oder anzunehmen, was einen Freiheitsgrad ausmacht.
Ich habe gelesen, dass Anpassungsgütemessungen wie der Bestimmungskoeffizient ( ) verwendet werden können, um die Modellleistung zu vergleichen. Mir ist jedoch nicht klar, wie hoch der Schwellenwert für einen signifikanten Unterschied zwischen -Werten sein könnte. Da ich das Modell nicht an die Daten anpasse, ist der Mittelwert der Residuen nicht Null und kann für jedes Modell unterschiedlich sein. Ein gut passendes Modell, das dazu neigt, die Daten zu unterschätzen, könnte daher einen so schlechten Wert von wie ein Modell, das unvoreingenommen, aber schlecht mit den Daten übereinstimmt.
Ich habe auch ein wenig über Anpassungstests gelesen (z. B. Anderson-Darling), aber da Statistik nicht mein Fachgebiet ist, bin ich mir nicht sicher, wie gut diese Art von Test zu meinem Zweck passt. Jede Anleitung wäre dankbar.
f()
, die aus einer Anpassung an die Daten ermittelt werden müssen, oder ist die Funktionf()
vollständig vorgegeben?f
vollständig vorgegeben ist. Es ist wie eine Black Box, die die Antworty
aus den Eingabevariablen erzeugt, und ich möchte wissen, wie gut sie im Vergleich zu konkurrierenden Black Boxes funktioniert. In einer analogen Situation könnte versucht werden, die Übereinstimmung zwischen der Ausgabe einer numerischen Simulation und den im realen physikalischen System durchgeführten Messungen zu bewerten.Antworten:
In dieser Situation vergleichen Sie im Wesentlichen die Verteilungen des unter den 3 Modellen. Sie müssen also folgende Themen untersuchen:ϵich
Wie Sie diese Fragen am besten beantworten können, hängt von der Art Ihrer Daten ab. Wenn beispielsweise die Werte von notwendigerweise positiv sind und typische Messfehler aufweisen, die proportional zu ihren Werten sind (wie dies in der Praxis häufig der Fall ist), kann es sinnvoll sein, diese Analyse auf Unterschiede zwischen logarithmisch transformiertem und logarithmisch transformierten Vorhersagen von durchzuführen jedes Ihrer Modelle.yi yi
Ein wichtiger erster Schritt wäre die visuelle Analyse der Verteilungen des unter den drei Modellen, beispielsweise mit Dichtediagrammen.ϵi
Abhängig von der Art der Daten würden standardmäßige parametrische oder nicht parametrische statistische Tests auf Unterschiede in den Mittelwerten, die für die 3 Modelle auf angewendet werden, 1 lösen.ϵi
Bei Problem 2 wird im Wesentlichen die Qualität eines angepassten Modells geprüft. In Ihrem Fall zeigt diese Analyse möglicherweise Domänen der unabhängigen Variablen an, für die eines oder mehrere Ihrer vordefinierten Modelle nicht gut funktionieren. Diagramme von gegen vorhergesagte Werte und Werte mit unabhängigen Variablen mit Lösskurven zur Hervorhebung von Trends für jedes Ihrer Modelle wären nützlich.ϵi
Wenn in keinem Modell eine Verzerrung vorliegt und die Analyse von Problem 2 keine Probleme zeigt, ist das verbleibende Problem 3, ob eines der Modelle hinsichtlich Präzision / Varianz überlegen ist. Im Idealfall mit normalverteiltem in jedem Modell könnten F-Tests die Varianzgleichheit testen.ϵi
quelle
Das ist weil
Am häufigsten beschreiben Menschen Modelle als Prozentsatz des Fehlers für Vorhersagen.
Beispiele:
Vorhersage des Druckabfalls des Schlammrohrströmungsflusses unter Verwendung zusammengesetzter Potenzgesetz-Reibungsfaktor-Reynolds-Zahlenkorrelationen basierend auf verschiedenen nicht-Newtonschen Reynolds-Zahlen
Vorhersage der effektiven Viskosität von Nanofluiden basierend auf der Rheologie von Suspensionen fester Partikel
Anwendung künstlicher Intelligenz zur Modellierung der Asphalt-Gummi-Viskosität
Bond-Beitragsmethode zur Schätzung der Henry-Konstanten
Grundsätzlich können Sie jedes Modell googeln, das eine Vereinfachung der Realität darstellt, und Sie werden Leute finden, die ihre Diskrepanz mit der Realität in Form von Korrelationskoeffizienten oder Prozent der Variation beschreiben.
Für einen solchen Vergleich können Sie die gemessene Leistung als Stichprobe betrachten, eine Stichprobe aus einer größeren (hypothetischen) Leistungspopulation.
Diese Ansicht ist jedoch etwas problematisch, da die "Stichprobe", die zur Messung der Leistung verwendet wird, häufig keine zufällige Auswahl ist (z. B. Messungen entlang eines vordefinierten Bereichs oder unter einem ausgewählten praktischen Satz von Elementen). Dann sollte eine Quantifizierung des Fehlers bei der Schätzung der allgemeinen Leistung nicht auf einem Modell für die zufällige Auswahl basieren (z. B. unter Verwendung der Varianz in der Stichprobe zur Beschreibung des Fehlers der Schätzung). Daher ist es immer noch wenig sinnvoll, ein Wahrscheinlichkeitsmodell zur Beschreibung der Vergleiche zu verwenden. Es kann ausreichend sein, nur beschreibende Daten anzugeben und Ihre "Schätzung" der Generalisierung anhand logischer Argumente vorzunehmen.
quelle
x_3,i
beteiligt ist, messbar zur Produktion von beiträgty
. Das Modellf
enthält das Phänomen A währendg
undh
nicht. Wenn meine Hypothese wahr wäre, würde ich vorhersagen, dass das Modellf
eine signifikant bessere Leistung aufweist als entwederg
oderh
.