Warum verwenden Kostenfunktionen den quadratischen Fehler?

Ich fange gerade erst mit maschinellem Lernen an und beschäftige mich bisher mit linearer Regression über eine Variable.

Ich habe gelernt, dass es eine Hypothese gibt:

$h_\theta(x)=\theta_0+\theta_1x$

Um gute Werte für die Parameter herauszufinden und wir den Unterschied zwischen dem berechneten Ergebnis und dem tatsächlichen Ergebnis unserer Testdaten minimieren möchten. Also subtrahieren wirθ $\theta_0$$\theta_1$

$h_\theta(x^{(i)})-y^{(i)}$

für alle von bis . Daher berechnen wir die Summe über diese Differenz und berechnen dann den Durchschnitt, indem wir die Summe mit multiplizieren . So weit, ist es gut. Dies hätte zur Folge:1 m $i$$1$$m$$\frac{1}{m}$

$\frac{1}{m}\sum_{i=1}^mh_\theta(x^{(i)})-y^{(i)}$

Dies wurde jedoch nicht vorgeschlagen. Stattdessen empfiehlt der Kurs, den Quadratwert der Differenz zu nehmen und mit zu multiplizieren . Die Formel lautet also:$\frac{1}{2m}$

$\frac{1}{2m}\sum_{i=1}^m(h_\theta(x^{(i)})-y^{(i)})^2$

Warum ist das so? Warum verwenden wir hier die Quadratfunktion und warum multiplizieren wir mit anstelle von ?$\frac{1}{2m}$$\frac{1}{m}$

Ihr Verlust Funktion würde nicht funktionieren , weil es Einstellung incentivizes einen endlichen Wert und zu .$\theta_1$$\theta_0$$-\infty$

Nennen wir das Residuum für .$r(x,y)=\frac{1}{m}\sum_{i=1}^m {h_\theta\left(x^{(i)}\right)} -y$h$h$

Ihr Ziel ist es, so nahe wie möglich an Null zu bringen und nicht nur zu minimieren . Ein hoher negativer Wert ist genauso schlecht wie ein hoher positiver Wert.$r$

BEARBEITEN: Sie können dem entgegenwirken, indem Sie den Parameterraum künstlich begrenzen (z. B. möchten Sie ). In diesem Fall würden die optimalen Parameter an bestimmten Punkten an der Grenze des Parameterraums liegen. Siehe https://math.stackexchange.com/q/896388/12467 . Das ist nicht was du willst.$\mathbf{\Theta}$$|\theta_0| < 10$

Warum verwenden wir den Quadratverlust?

Der quadratische Fehler zwingt und zur Übereinstimmung. Wenn möglich, wird es bei minimiert und ist immer , da es ein Quadrat der reellen Zahl .$h(x)$$y$$u=v$$\ge 0$$u-v$

$|u-v|$würde auch für den obigen Zweck funktionieren, wie mit einer positiven ganzen Zahl. Die erste davon ist tatsächlich verwendet (es ist die genannte Verlust, man könnte auch über die kommen Verlust, der ein anderer Name für quadratische Fehler ist).$(u-v)^{2n}$$n$$\ell_1$$\ell_2$

Warum ist der Quadratverlust also besser als diese? Dies ist eine tiefe Frage im Zusammenhang mit der Verbindung zwischen häufigem und bayesianischem Schluss. Kurz gesagt, der quadratische Fehler bezieht sich auf das Gaußsche Rauschen .

Wenn Ihre Daten nicht genau zu allen Punkten passen, dh für einen bestimmten Punkt nicht Null ist, unabhängig davon, welches Sie wählen (wie dies in der Praxis immer der Fall ist), kann dies an Rauschen liegen . In jedem komplexen System gibt es viele kleine seine unabhängigen Ursachen für den Unterschied zwischen Ihrem Modell und Wirklichkeit : Messfehler, Umweltfaktoren etc. Unter dem zentralen Grenzwertsatz (CLT), würde das Gesamtrauschen verteilt Normalerweise , das heißt nach dem Gaußsche Verteilung . Wir wollen die beste Lösung wählen$h(x)-y$$\theta$ $h$ $y$$\theta$unter Berücksichtigung dieser Geräuschverteilung. Angenommen, , der Teil von , den Ihr Modell nicht erklären kann, folgt der Gaußschen Verteilung . Wir verwenden Großbuchstaben, weil wir jetzt über Zufallsvariablen sprechen.$R = h(X)-Y$$\mathbf{y}$$\mathcal{N}(\mu,\sigma)$

Die Gaußsche Verteilung hat zwei Parameter: Mittelwert und Varianz . Sehen Sie hier , um diese Begriffe besser zu verstehen.$\mu = \mathbb{E}[R] = \frac{1}{m} \sum_i h_\theta(X^{(i)})-Y^{(i))}$$\sigma^2 = E[R^2] = \frac{1}{m} \sum_i \left(h_\theta(X^{(i)})-Y^{(i))}\right)^2$

• Betrachten , ist es der systematische Fehler unserer Messungen. Verwenden Sie , um systematische Fehler zu korrigieren, sodass (Übung für den Leser). Hier gibt es nichts anderes zu tun.$\mu$$h'(x) = h(x) - \mu$$\mu' = \mathbb{E}[R']=0$

• $\sigma$ repräsentiert den Zufallsfehler , auch Rauschen genannt . Wenn wir uns wie im vorigen Punkt um die systematische Rauschkomponente gekümmert haben, wird der beste Prädiktor erhalten, wenn wird minimiert. Anders ausgedrückt ist der beste Prädiktor derjenige mit der engsten Verteilung (kleinste Varianz) um den vorhergesagten Wert, dh der kleinsten Varianz. Das Minimieren des kleinsten quadratischen Verlusts ist dasselbe wie das Minimieren der Varianz! Dies erklärt, warum der kleinste quadratische Verlust für eine Vielzahl von Problemen geeignet ist. Das zugrunde liegende Rauschen ist aufgrund der CLT sehr oft Gaußsch und die Minimierung des quadratischen Fehlers stellt sich als richtig heraus$\sigma^2 = \frac{1}{m} \sum_i \left(h_\theta(X^{(i)})-Y^{(i))}\right)^2$ etwas zu tun!

Um gleichzeitig sowohl den Mittelwert und die Varianz zu berücksichtigen, wir sind ein Bias - Begriff in unserem Klassifizierer (zu handhaben systematische Fehler ), minimieren dann den Platz Verlust.$\mu$

Folgefragen:

• $\ell_1$$|x-\mu|$$(x-\mu)^2$$\ell_1$

  • $\ell_1$

• Gibt es Situationen, in denen wir sowohl den Mittelwert als auch die Varianz minimieren? Ja. Look up Bias-Variance Tradeoff . Hier sehen wir uns eine Reihe von Klassifikatoren und fragen, welche unter ihnen die beste ist. Wenn wir uns fragen, welcher Satz von Klassifikatoren für ein Problem am besten geeignet ist, wird es wichtig, sowohl die Verzerrung als auch die Varianz zu minimieren. Es stellt sich heraus, dass es immer einen Kompromiss zwischen ihnen gibt und wir verwenden Regularisierung , um einen Kompromiss zu erzielen.$h_\theta \in H$

In Bezug auf den Begriff$\frac{1}{2}$

Die 1/2 spielt keine Rolle und eigentlich auch nicht die - sie sind beide Konstanten. Der optimale Wert von würde in beiden Fällen gleich bleiben.$m$$\theta$

• Der Ausdruck für den Farbverlauf wird mit hübscher , da die 2 aus dem Quadrat-Term entfällt.$\frac{1}{2}$

  • Beim Schreiben von Code oder Algorithmen geht es in der Regel mehr um den Farbverlauf, daher ist es hilfreich, ihn präzise zu halten. Sie können den Fortschritt überprüfen, indem Sie die Norm des Verlaufs überprüfen. Die Verlustfunktion selbst wird manchmal im Code weggelassen, da sie nur zur Validierung der endgültigen Antwort verwendet wird.

• Das ist nützlich, wenn Sie dieses Problem mit einem Gefälle lösen. Dann wird Ihr Verlauf zum Durchschnitt von Termen anstelle einer Summe, sodass sich seine Skalierung nicht ändert, wenn Sie weitere Datenpunkte hinzufügen.$m$$m$

  • Ich bin bereits auf dieses Problem gestoßen: Ich teste Code mit einer kleinen Anzahl von Punkten und es funktioniert einwandfrei, aber wenn Sie ihn mit dem gesamten Datensatz testen, kommt es zu Genauigkeitsverlusten und manchmal zu Über- / Unterläufen, dh Ihr Farbverlauf wird nanoder inf. Um dies zu vermeiden, normalisieren Sie einfach die Anzahl der Datenpunkte.

• Diese ästhetischen Entscheidungen werden hier verwendet, um die Konsistenz mit zukünftigen Gleichungen zu gewährleisten, in denen Sie Regularisierungsterme hinzufügen . Wenn Sie das einschließen , hängt der Regularisierungsparameter nicht von der Größe des Datensatzes und ist problemübergreifend besser interpretierbar.$m$$\lambda$$m$

Der Koeffizient 1/2 dient lediglich der Vereinfachung. Dadurch wird die Ableitung, bei der es sich um die tatsächlich zu optimierende Funktion handelt, attraktiver. Das 1 / m ist grundlegender; es deutet darauf hin, dass wir am mittleren quadratischen Fehler interessiert sind . Dies ermöglicht Ihnen faire Vergleiche beim Ändern der Stichprobengröße und verhindert ein Überlaufen. Sogenannte "stochastische" Optimierer verwenden eine Teilmenge des Datensatzes (m '<m). Wenn Sie einen Regularizer (einen additiven Term zur Zielfunktion) einführen, können Sie mit dem Faktor 1 / m unabhängig von der Stichprobengröße denselben Koeffizienten für den Regularizer verwenden.

Was die Frage betrifft, warum das Quadrat und nicht einfach der Unterschied: Wollen Sie nicht, dass Unterschätzungen ähnlich wie Überschätzungen bestraft werden? Durch Quadrieren wird die Auswirkung des Vorzeichens des Fehlers beseitigt. Die Verwendung des Absolutwerts (L1-Norm) ist ebenfalls möglich, die Ableitung ist jedoch im Ursprung nicht definiert, sodass die Verwendung komplexer ist. Die L1-Norm hat ihre Verwendung. Denken Sie also daran und fragen Sie den Lehrer, ob er sie behandeln wird.

Das Fehlermaß in der Verlustfunktion ist eine "statistische Distanz"; im Gegensatz zum populären und vorläufigen Verständnis der Distanz zwischen zwei Vektoren im euklidischen Raum. Mit 'statistischer Distanz' versuchen wir, die 'Disähnlichkeit' zwischen geschätztem Modell und optimalem Modell auf den euklidischen Raum abzubilden.

Es gibt keine einschränkende Regel in Bezug auf die Formulierung dieser "statistischen Distanz", aber wenn die Wahl angemessen ist, führt eine fortschreitende Verringerung dieser "Distanz" während der Optimierung zu einer fortschreitenden Verbesserung der Modellschätzung. Folglich hängt die Wahl des statistischen Abstands oder des Fehlermaßes von der zugrunde liegenden Datenverteilung ab.

Tatsächlich gibt es mehrere genau definierte Abstands- / Fehlermaßnahmen für verschiedene Klassen statistischer Verteilungen. Es wird empfohlen, das Fehlermaß basierend auf der Verteilung der vorliegenden Daten auszuwählen. Es kommt einfach so vor, dass die Gaußsche Verteilung allgegenwärtig ist und folglich das zugehörige Abstandsmaß, die L2-Norm, das beliebteste Fehlermaß ist. Dies ist jedoch keine Regel, und es gibt reale Daten, für die eine "effiziente" * Optimierungsimplementierung ein anderes Fehlermaß als die L2-Norm verwenden würde.

Betrachten Sie die Menge der Bregman-Divergenzen . Die kanonische Darstellung dieses Divergenzmaßes ist die L2-Norm (quadratischer Fehler). Es umfasst auch die relative Entropie (Kullback-Liebler-Divergenz), die verallgemeinerte euklidische Distanz (Mahalanobis-Metrik) und die Itakura-Saito-Funktion. Sie können mehr darüber in diesem Artikel über funktionale Bregman-Divergenz und Bayes'sche Schätzung von Verteilungen lesen .

Take-away: Die L2-Norm hat eine interessante Reihe von Eigenschaften, die sie zu einer beliebten Wahl für die Fehlermessung machen (andere Antworten hier haben einige davon erwähnt, die für den Umfang dieser Frage ausreichen), und der quadratische Fehler ist der geeignete Wahl die meiste Zeit. Wenn die Datenverteilung dies erfordert, stehen jedoch alternative Fehlermaßnahmen zur Auswahl, und die Auswahl hängt zu einem großen Teil von der Formulierung der Optimierungsroutine ab.

* Das "geeignete" Fehlermaß würde die Verlustfunktion für die Optimierung konvex machen, was sehr hilfreich ist, im Gegensatz zu einem anderen Fehlermaß, bei dem die Verlustfunktion nicht konvex und damit notorisch schwierig ist.

Zusätzlich zu den wichtigsten Punkten, die von anderen gemacht wurden, wird bei der Verwendung eines quadratischen Fehlers ein größerer Fehler in den Vordergrund gerückt (was passiert mit 1/2, wenn Sie es mit 3/2 quadrieren?).

Ein Algorithmus, der die gebrochenen Fehler verschiebt, der wahrscheinlich zu einer korrekten Klassifizierung oder zu einer sehr kleinen Differenz zwischen Schätzung und Grundwahrheit führen würde, wenn er nahe Null belassen würde, während die großen Fehler als große Fehler oder Fehlklassifizierungen zurückbleiben, ist kein wünschenswertes Merkmal von ein Algorithmus.

Bei Verwendung eines quadratischen Fehlers wird der Fehler als implizites Wichtigkeitsgewicht für die Anpassung der Vorhersage verwendet.

In Ihrer Formulierung versuchen Sie, die mittlere Abweichung Ihrer Näherung von den beobachteten Daten zu ermitteln.

Wenn der Mittelwert Ihrer Näherung nahe am Mittelwert der beobachteten Daten liegt oder diesem entspricht (was wünschenswert ist und bei vielen Näherungsverfahren häufig vorkommt), ist das Ergebnis Ihrer Formulierung null oder vernachlässigbar, da positive Fehler negative Fehler ausgleichen fehler. Dies könnte zu der Schlussfolgerung führen, dass Ihre Annäherung bei jeder beobachteten Stichprobe wunderbar ist, obwohl dies möglicherweise nicht der Fall ist. Aus diesem Grund verwenden Sie bei jeder Stichprobe das Quadrat des Fehlers und addieren diese (Sie sind an der Reihe, wenn jeder Fehler positiv ist).

Dies ist natürlich nur eine mögliche Lösung, da Sie anstelle der L2-Norm die L1-Norm (absoluter Wert des Fehlers bei jeder Stichprobe) oder viele andere hätten verwenden können.