Ist der R-Quadrat-Wert zum Vergleichen von Modellen geeignet?

Ich versuche, das beste Modell zu finden, um die Preise für Automobile vorherzusagen. Dabei verwende ich die Preise und Funktionen, die auf Websites für Kleinanzeigen für Automobile verfügbar sind.

Dazu verwendete ich einige Modelle aus der Scikit-Learn-Bibliothek und neuronale Netzwerkmodelle aus Pybrain und Neurolab. Der Ansatz, den ich bisher verwendet habe, besteht darin, eine feste Datenmenge durch einige Modelle (Algorithmen für maschinelles Lernen) zu führen und dort Werte zu vergleichen, die mit dem Modul "scikit-learn metrics" berechnet wurden.$R^2$

1. Ist eine gute Methode, um die Leistung verschiedener Modelle zu vergleichen?$R^2$
2. Obwohl ich für Modelle wie das elastische Netz und zufällige Wälder akzeptable Ergebnisse erzielt habe, habe ich für neuronale Netzmodelle sehr schlechte Werte erhalten. Ist eine geeignete Methode zur Bewertung neuronaler Netze (oder nichtlinearer Methoden)?R $R^2$$R^2$

Ich denke, der entscheidende Punkt bei der Beantwortung Ihrer Frage ist

Ich versuche, das beste Modell zu finden, um die Preise für Automobile vorherzusagen

weil diese Aussage etwas darüber impliziert, warum Sie das Modell verwenden möchten. Die Auswahl und Bewertung des Modells sollte auf dem basieren, was Sie mit Ihren angepassten Werten erreichen möchten.

Lassen Sie uns zunächst noch einmal zusammenfassen, was tut$R^2$ : Es berechnet ein skaliertes Maß basierend auf der quadratischen Verlustfunktion, die Sie sicher bereits kennen. Um dies zu sehen, definiert Rest für die i-te Beobachtung y i und der entsprechenden Einbau Wert y i . Unter Verwendung der Notation bequeme S S R : = Σ N i = 1 e 2 i , S S T : = $e_i = y_i - \hat{y}_i$$y_i$$\hat{y}_i$$SSR := \sum_{i=1}^Ne_i^2$,R2einfach als definiertR2=1-SSR/SST.$SST:=\sum_{i=1}^N(y_i - \bar{y})^2$$R^2$$R^2 = 1 - SSR/SST$

Zweitens wollen wir sehen, was die Verwendung von für die Modellauswahl / -bewertung bedeutet$R^2$ . Angenommen, wir wählen aus einer Reihe von Vorhersagen , die unter Verwendung eines Modells M generiert wurden : M ∈ M , wobei M die Sammlung der betrachteten Modelle ist (in Ihrem Beispiel würde diese Sammlung neuronale Netze, zufällige Wälder, elastische Netze, ...). Da S S T unter allen Modellen konstant bleibt, wählen Sie beim Minimieren von R 2 genau das Modell, das S S R minimiert . Mit anderen Worten, Sie werden wählen$\bar{Y}_M$$M:M \in \mathcal{M}$$\mathcal{M}$$SST$$R^2$$SSR$ , das den minimalen quadratischen Fehlerverlust erzeugt!$M \in \mathcal{M}$

$R^2$$SSR$ $L^2$$L^1$

$R^2$$L^p$$1 \leqslant p <2$$p=1$$L^p$$L^p$

Zusammenfassend kann die Modellauswahl / -bewertung nicht unabhängig vom Ziel des Modells betrachtet werden.