Bestraft die L2-Normalisierung der Gratregression das Abfangen? Wenn nicht, wie kann man seine Ableitung lösen?

Ich bin neu bei ML. Ich wurde informiert, dass die L2-Normalisierung der Gratregression den Achsenabschnitt nicht bestraft . Wie in der Kostenfunktion: Der L2-Normalisierungsterm summiert sich nur von bis , nicht von bis . Ich habe das auch gelesen:$\theta_{0}$

$$\nabla_{\theta}J(\theta)=\frac{1}{2}\sum_{i=1}^{m}(h_{\vec \theta}(x^{(i)})-y^{(i)})^2+\lambda\sum_{j=1}^{n}{\theta_{j}^{2}}$$ $\lambda\sum_{j=1}^{n}{\theta_{j}^{2}}$$j=1$$n$$j=0$$n$

In den meisten Fällen (in allen Fällen?) ist es besser, nicht zu regulieren , da es unwahrscheinlich ist, dass die Überanpassung verringert und der Raum für darstellbare Funktionen verkleinert wird$\theta_{0}$

Dies ergibt sich aus der letzten Antwort von user48956 von Warum ist ein lineares Regressionsmodell mit null Abschnitten besser vorhersagbar als ein Modell mit einem Abschnitt?

Ich bin verwirrt darüber, wie die Ableitung der Kostenfunktion zu lösen ist, da: wobei , und .

$$\nabla_{\theta}J(\theta)=\frac{1}{2}（X\theta-Y）^{T}（X\theta-Y）+\lambda(\theta^{'})^{T}\theta^{'},$$ $\theta^{'}=\left[ \begin{matrix} \theta_{1} \\ \theta_{2} \\ ...\\ \theta_{n} \end{matrix} \right]$ X = [ 1 X ( 1 ) 1 X ( 1 ) 2 . . . X ( 1 ) n 1 X ( 2 ) 1 X ( 2 ) 2 . $\theta=\left[ \begin{matrix} \theta_{0} \\ \theta_{1} \\ ...\\ \theta_{n} \end{matrix} \right]$$X=\left[ \begin{matrix} 1 & X_{1}^{(1)} & X_{2}^{(1)} & ...& X_{n}^{(1)} \\ 1 & X_{1}^{(2)} & X_{2}^{(2)} & ...& X_{n}^{(2)} \\ ...\\ 1 & X_{1}^{(m)} & X_{2}^{(m)} & ...& X_{n}^{(m)} \end{matrix} \right]$

Θθ$\theta^{'}$ und sind unterschiedlich. Daher können sie aus meiner Sicht nicht gemischt werden. Und die Ableitung handelt von das . Nachdem ich gegoogelt und die Fragen in diesem Forum angesehen habe, kann ich immer noch keine Lösung finden: Kann mir jemand einen Hinweis geben? Vielen Dank im Voraus für Ihre Hilfe!$\theta$$\theta$ Θ=(XTX+λ∗I) - 1 XT$\theta^{'}$

$$\theta=(X^TX+\lambda*I)^{-1}X^TY$$

Ich denke jedoch, dass es zwei schnelle Lösungen für dieses Problem gibt:

Zunächst fügen wir nicht die Spalte all 1 zu . Nämlich . Das heißt, wir nehmen den Achsenabschnitt überhaupt nicht in das Modell auf: Ich glaube, diese Methode wurde in das klassische Buch Maschinelles Lernen in Aktion von Peter Harrington übernommen, das ich gerade lese. Bei der Implementierung der Ridge-Regression (P166 und P177, wenn Sie auch das Buch haben) enthält das gesamte an die Ridge-Regression übergebene nicht die Spalte all 1.X = [ X ( 1 ) 1 X ( 1 ) 2 . $X$ y= θ 1 X 1 + θ 2 X 2 +. . . + θ n X n . $X=\left[ \begin{matrix} X_{1}^{(1)} & X_{2}^{(1)} & ...& X_{n}^{(1)} \\ X_{1}^{(2)} & X_{2}^{(2)} & ...& X_{n}^{(2)} \\ ...\\ X_{1}^{(m)} & X_{2}^{(m)} & ...& X_{n}^{(m)} \end{matrix} \right]$

$$y=\theta_{1}X_{1}+\theta_{2}X_{2}+...+\theta_{n}X_{n}.$$ $X$

Zweitens wird der Abschnitt auch in der Realität bestraft.

Die logistische Regression von scikit reguliert standardmäßig den Achsenabschnitt.

Dies kommt wiederum aus der letzten Antwort von user48956 von Warum ist ein lineares Regressionsmodell mit null Abschnitten besser vorhersagbar als ein Modell mit einem Abschnitt?

Beide Schnellkorrekturen führen zur Lösung

$$\theta=(X^TX+\lambda*I)^{-1}X^TY.$$

Kann also die Ableitung der L2-Normalisierung der Gratregression tatsächlich gelöst werden oder wird sie nur durch schnelle Korrekturen gelöst?

Die Elemente des statistischen Lernens von Hastie et al. weist in P63 darauf hin, dass:

Der Achsenabschnitt wurde aus dem Strafzeitraum herausgelassen$\theta_{0}$

Außerdem heißt es:

Die Gratlösungen sind unter Skalierung der Eingaben nicht äquivariant, so dass man normalerweise die Eingaben vor dem Lösen standardisiert (3.41) (3.41 ist die Kostenfunktion). Es kann gezeigt werden (Aufgabe 3.5), dass die Lösung zu (3.41) nach der Reparametrisierung unter Verwendung zentrierter Eingaben in zwei Teile geteilt werden kann: Jedes wird durch Wir schätzen durch Die verbleibenden Koeffizienten werden durch eine Gratregression ohne geschätzt Abfangen mit dem zentrierten . Von nun an wird angenommen, dass diese Zentrierung erfolgt ist, so daß die Eingangsmatrix hat$X_{j}^{(i)}$$X_{j}^{(i)}-\overline{x_{j}}.$$\theta_{0}$$\overline{y}=\frac{1}{m}\sum_{i=1}^{m}y^{(i)}$$X_{j}^{(i)}$$X$$n$(statt ) Spalten.$n + 1$

Obwohl ich mich frage, warum die Elemente des statistischen Lernens zuerst eine Standardisierung von Merkmalen vorschlagen und dann nur eine Merkmalszentrierung durchgeführt wird. Vielleicht, um mit Übung 3.5 übereinzustimmen, in der nur Feature-Centering verwendet wird.

Wie auch immer, ich glaube, es ist richtig, die Z-Score-Standardisierung auf Features anzuwenden. Deshalb versuche ich nun, die Ableitung der Kostenfunktion der Gratregression auf Vorschlag des obigen Kommentators Amöbe zu lösen. Vielen Dank an ihn oder sie!

Zunächst die Kostenfunktion: wobei der Mittelwert des Attributs und die Standardabweichung von . Um es kürzer zu machen: Nun berechnen wir zuerst den Wert von

$$\nabla_{ \theta}J(\theta)=\frac{1}{2}\sum_{i=1}^{m}(y_{i}-\theta_{0}-\frac{X_{1}^{(i)}-\overline{X_1}}{\sigma_1}\theta_1-\frac{X_{2}^{(i)}-\overline{X_2}}{\sigma_2}\theta_2-...-\frac{X_{n}^{(i)}-\overline{X_n}}{\sigma_n}\theta_n)^2+\lambda\sum_{j=1}^{n}{\theta_{j}^{2}},$$ $\overline{X_j}$$X_{j}$$\sigma_j$$X_{j}$ $$\nabla_{ \theta}J(\theta)=\frac{1}{2}\sum_{i=1}^{m}(y_{i}-\theta_{0}-\sum_{j=1}^{n}\frac{X_j^{(i)}-\overline{X_j}}{\sigma_{j}}\theta_j)^2+\lambda\sum_{j=1}^{n}{\theta_{j}^{2}}$$ $\theta_0$im obigen Ausdruck durch Setzen der Ableitung in Bezug auf gleich Null. Da kein , erhalten wir: Das heißt: As (weil ist Mittelwert des Attributs ), also haben wir jetzt$\theta_0$$\lambda\sum_{j=1}^{n}{\theta_{j}^{2}}$$\theta_{0}$ $$\nabla_{ \theta_0}J(\theta)=-\sum_{i=1}^{m}(y_{i}-\theta_{0}-\sum_{j=1}^{n}\frac{X_j^{(i)}-\overline{X_j}}{\sigma_{j}}\theta_j)=0$$ $$\sum_{i=1}^{m}(y_{i}-\theta_{0})-\sum_{i=1}^{m}\sum_{j=1}^{n}\frac{X_j^{(i)}-\overline{X_j}}{\sigma_{j}}\theta_j=0$$ $$\sum_{i=1}^{m}\sum_{j=1}^{n}\frac{X_j^{(i)}-\overline{X_j}}{\sigma_{j}}\theta_j=0$$ $\overline{X_j}$$X_{j}$ $$\sum_{i=1}^{m}(y_{i}-\theta_{0})=0,$$ offensichtlich: $$\theta_0=\overline{y}=\frac{1}{m}\sum_{i=1}^{m}y^{(i)}$$

Der Achsenabschnitt der merkmalsstandardisierten Gratregression ist also immer . Wenn wir also zuerst zentralisieren, indem wir seinen Mittelwert subtrahieren (get für Datenbeispiel ), schließen Sie nicht alle 1 Spalten in und führen Sie dann eine Feature-Standardisierung für (get für des Datenbeispiels ) die Kostenfunktion einfach Das heißt $\overline{y}$$Y$$(y_i)^{'}$$i$$X$$X$$(X_j^{(i)})^{'}$$X_{j}$$i$

$$\nabla_{ \theta}J(\theta)=\frac{1}{2}\sum_{i=1}^{m}((y_{i})^{'}-\sum_{j=1}^{n}(X_j^{(i)})^{'}\theta_j)^2+\lambda\sum_{j=1}^{n}{\theta_{j}^{2}}$$ $$\nabla_{\theta}J(\theta)=\frac{1}{2}（X^{'}\theta-Y^{'}）^{T}（X^{'}\theta-Y^{'}）+\lambda(\theta)^{T}\theta,$$ wobei , hat nicht alle 1 Spalten und standardisiert von , ist in Bezug auf zentriert . Jetzt kann (ohne ) gelöst werden mit: Für standardisierte Features lautet das lineare Modell wobei $\theta=\left[ \begin{matrix} \theta_1 \\ \theta_2 \\ ...\\ \theta_n \end{matrix} \right]$$X^{'}$$X$$Y^{'}$$Y$$\theta$$\theta_0$ $$\theta=((X^{'})^TX^{'}+\lambda*I)^{-1}(X^{'})^TY^{'}$$ $$y=\overline{y}+\theta{_1}X_1^{'}+\theta{_2}X_2^{'}+...+\theta{_n}X_n^{'}---(1),$$ $$X_i^{'}=\frac{X_{i}-\overline{X_i}}{\sigma_i}---(2)$$ Wenn wir (2) in (1) verwenden, wie in der Antwort von Plasty Grove vorgeschlagen . Für Ursprungseingabedaten lautet das lineare Modell also Das ist Deshalb werden nach der Lösung von Koeffizienten standardisierter Merkmale Koeffizienten von Ursprungskoeffizienten zurückgegeben (nicht standardisiert) Features) müssen wir
$$y=\overline{y}+\frac{X_{1}-\overline{X_1}}{\sigma_1}\theta_1+\frac{X_{2}-\overline{X_2}}{\sigma_2}\theta_2+...+\frac{X_{n}-\overline{X_n}}{\sigma_n}\theta_n$$ θi/σ $$y=\frac{\theta_1}{\sigma_1}X_1+\frac{\theta_2}{\sigma_2}X_2+...+\frac{\theta_n}{\sigma_n}X_n+\overline{y}-\frac{\overline{X_1}}{\sigma_1}\theta_1-\frac{\overline{X_2}}{\sigma_2}\theta_2-...-\frac{\overline{X_n}}{\sigma_n}\theta_n$$ $\theta_i/\sigma_i$