Mittlerer quadratischer Fehler versus kleinster quadratischer Fehler, welcher Datensatz soll verglichen werden?

8

Ich habe 3 Datensätze des gleichen Systems. Aber für den ersten habe ich 21 Messungen. Für die zweite und dritte habe ich nur 9 Messungen. Jetzt habe ich ein Modell mit diesen 3 Datensätzen erstellt (also 3 Modelle, 1 pro Datensatz). Wenn ich den Fehler zwischen diesen beiden Datensätzen vergleichen möchte. Gibt es einen klaren Vorteil bei der Verwendung der MSE anstelle der LSE (Fehler im kleinsten Quadrat)? Im Internet finde ich keine klare Antwort darauf. Was sind die Hauptvorteile?

Thomas
quelle

Antworten:

11

Ich denke, Sie sind verwirrend, wie man ein Modell aus Daten erstellt und wie man die Genauigkeit eines Modells nach seiner Erstellung quantifiziert.

Wenn Sie ein Modell erstellen möchten (in Ihrem Fall lineare Regression, denke ich?), Verwenden Sie normalerweise die Methode der kleinsten Fehlerquadrate , mit der der "gesamte" euklidische Abstand zwischen einer Linie und den Datenpunkten minimiert wird. Theoretisch können die Koeffizienten dieser Linie mithilfe von Kalkül ermittelt werden. In der Praxis führt ein Algorithmus jedoch einen Gradientenabstieg durch, der schneller ist.

Sobald Sie Ihr Modell haben, möchten Sie dessen Leistung bewerten. Im Falle einer Regression kann es daher sinnvoll sein, eine Metrik zu berechnen, die bewertet, wie weit Ihr Modell von den tatsächlichen Datenpunkten (oder Testsatzdaten, falls vorhanden) im Durchschnitt entfernt ist. Die MSE ist eine gute Schätzung, die Sie möglicherweise verwenden möchten!

Zusammenfassend lässt sich sagen, dass LSE eine Methode zum Erstellen eines Modells ist und MSE eine Metrik, mit der die Leistung Ihres Modells bewertet wird.

Anil Narassiguin
quelle
1
Mit dem matlab-Kommando habe ich ein nichtlineares biologisches Inaktivierungsmodell mit 2 Parametern erstellt: LSQNONLIN. Dieses Kommando gibt mir den kleinsten Fehler. Ich habe 3 dieser Fehler im kleinsten Quadrat, weil ich es für 3 Datensätze gemacht habe. Jetzt möchte ich die Genauigkeit beider Datensätze vergleichen. Warum kann ich diese LSE nicht miteinander vergleichen?
Thomas
1
@Thomas Haben die Datensätze eine unterschiedliche Anzahl von Beobachtungen? Haben Sie einen endgültigen Datensatz ausgegeben, um alle drei Modelle zu bewerten?
Matthew Drury
1
Aber die Gleichung von LSE und MSE ist fast dieselbe, oder?
QtRoS
Betrachten Sie zwei Datensätze, einen mit 10 Datenpunkten und einen mit 10.000 Datenpunkten. Wenn sie dieselbe MSE haben, können sie nicht dieselbe LSE haben. Aus diesem Grund wird der Mittelwert in "Mean Squared Error" verwendet. Durch die Quadrierung werden alle Zahlen positiv und der Mittelwert mittelt diese Werte, sodass die Statistik unabhängig von der Anzahl der Daten ist Punkte. Aus ähnlichen Gründen wird auch das R-Quadrat (R2) verwendet, das als "R2 = 1,0 - (absolute_Fehlervarianz / abhängige_Datenvariabilität)" berechnet wird, dh unabhängig von der Anzahl der in der Modellierung verwendeten Datenpunkte.
James Phillips
3

MSE (Mean Squared Error) ist der Mittelwert des quadratischen Fehlers, dh die Differenz zwischen dem Schätzer und dem geschätzten. MMSE (Minumum Mean Square Error) ist ein Schätzer, der MSE minimiert. Daher sind LSE und MMSE vergleichbar, da beide Schätzer sind. LSE und MSE sind nicht vergleichbar, wie von Anil angegeben. Theoretisch gibt es einige wichtige Unterschiede zwischen MMSE und LSE.
MMSE ist für alle Realisierungen des Prozesses optimal, während LSE für die angegebenen Daten selbst optimal ist. Dies liegt daran, dass MMSE Ensemble-Durchschnittswerte (Erwartungen) verwendet, während LSE den Zeitdurchschnitt verwendet.

Praktisch bedeutet dies: 1. Für MMSE müssen Sie die statistischen Eigenschaften zweiter Ordnung der Daten (Kreuzkorrelation und Autokorrelation) kennen, während Sie für LSE nur die Daten benötigen. Autokorrelation und Kreuzkorrelation sind rechenintensiv und eine genaue Berechnung erfordert viele Datenpunkte / Experimente. 2. MMSE-Koeffizienten sind für den Prozess optimal, sodass sie für alle Datensätze des Prozesses optimal sind, während LSE nur für den jeweiligen Datensatz optimal ist. LSE-Koeffizienten bleiben nicht optimal, wenn sich der Datensatz ändert.

Beachten Sie auch, dass sich MMSE der LSE nähert, wenn der Prozess ergodisch ist und die Anzahl der Datenpunkte gegen unendlich geht.

Perscitius
quelle
0

Ich glaube, die derzeitige erste Antwort von Anil Narassiguin ist irreführend. Unten heißt es: "LSE ist eine Methode, mit der ein Modell erstellt wird, und MSE ist eine Metrik, mit der die Leistung Ihres Modells bewertet wird."

Das ist einfach nicht wahr. Grundsätzlich handelt es sich bei beiden um Verlust- / Kostenfunktionen . Beide berechnen den Fehler der aktuellen Vorhersagen während der Iteration, damit die Gewichte optimiert werden können.

LSE wird jedoch für Klassifizierungsprobleme verwendet, während MSE für Regressionsprobleme verwendet wird. Ich glaube, dies ist der Hauptunterschied zwischen diesen beiden, also müssen Sie herausfinden, welche Art von Problem Sie haben, Regression der Klassifizierung.

Bob de Graaf
quelle