Wie berechnet man den Regularisierungsparameter in der Gratregression bei gegebenen Freiheitsgraden und Eingabematrix?

Sei A die Matrix unabhängiger Variablen und B die entsprechende Matrix der abhängigen Werte. In ridge regression, definieren wir einen Parameter so dass: . Nun sei [usv] = svd (A) und diagonaler Eintrag von 's'. wir definieren Freiheitsgrade (df) = . Die Ridge-Regression verkleinert die Koeffizienten von Komponenten mit geringer Varianz, und daher steuert der Parameter die Freiheitsgrade. Also für$n \times p$$n \times 1$; $\lambda$$\beta=(A^\mathrm{T}A+\lambda I)^{-1}A^\mathrm{T}B$$d_{i}=i^{th}$$\sum_{i=1}^{n} \frac{(d_{i})^2}{(d_{i})^2+\lambda}$$\lambda$$\lambda=0$Dies ist bei normaler Regression der Fall, df = n, und daher werden alle unabhängigen Variablen berücksichtigt. Das Problem, mit dem ich konfrontiert bin, besteht darin, den Wert von bei 'df' und der Matrix 's' zu finden. Ich habe versucht, die obige Gleichung neu anzuordnen, aber keine Lösung in geschlossener Form erhalten. Bitte geben Sie hilfreiche Hinweise.$\lambda$

Ein Newton-Raphson / Fisher-Scoring / Taylor-Reihen-Algorithmus wäre dafür geeignet.

Sie müssen die Gleichung für lösen mit Ableitung Sie erhalten dann: h ( λ ) = p ∑ i = 1 d 2 $\lambda$ ∂

$$h(\lambda)=\sum_{i=1}^{p}\frac{d_{i}^{2}}{d_{i}^{2}+\lambda}-df=0$$ h(λ)≈h(λ(0))+(λ-λ(0))∂ $$\frac{\partial h}{\partial \lambda}=-\sum_{i=1}^{p}\frac{d_{i}^{2}}{(d_{i}^{2}+\lambda)^{2}}$$ $$h(\lambda)\approx h(\lambda^{(0)})+(\lambda-\lambda^{(0)})\frac{\partial h}{\partial \lambda}|_{\lambda=\lambda^{(0)}}=0$$

Neuanordnung für Sie: Hiermit wird die iterative Suche eingerichtet. Nehmen Sie für anfängliche Startwerte in der Summation an, dann erhalten Sie .λ = λ ( 0 ) - [ ∂ $\lambda$

$$\lambda=\lambda^{(0)}-\left[\frac{\partial h}{\partial \lambda}|_{\lambda=\lambda^{(0)}}\right]^{-1}h(\lambda^{(0)})$$ $d^{2}_{i}=1$$\lambda^{(0)}=\frac{p-df}{df}$

$$\lambda^{(j+1)}=\lambda^{(j)}+\left[\sum_{i=1}^{p}\frac{d_{i}^{2}}{(d_{i}^{2}+\lambda^{(j)})^{2}}\right]^{-1}\left[\sum_{i=1}^{p}\frac{d_{i}^{2}}{d_{i}^{2}+\lambda^{(j)}}-df\right]$$

Dies "geht" in die richtige Richtung ( erhöhen, wenn die Summation zu groß ist, verringern, wenn es zu klein ist) und dauert normalerweise nur wenige Iterationen, um gelöst zu werden. Ferner ist die Funktion monoton (eine Zunahme / Abnahme von verringert / erhöht immer die Summation), so dass sie eindeutig konvergiert (keine lokalen Maxima).$\lambda$$\lambda$

Hier ist der kleine Matlab-Code, der auf der Formel basiert, die durch Wahrscheinlichkeitslogik bewiesen wurde:

function [lamda] = calculate_labda(Xnormalised,df)
    [n,p] = size(Xnormalised);   

    %Finding SVD of data
    [u s v]=svd(Xnormalised);
    Di=diag(s);
    Dsq=Di.^2;

    %Newton-rapson method to solve for lamda
    lamdaPrev=(p-df)/df;
    lamdaCur=Inf;%random large value
    diff=lamdaCur-lamdaPrev;   
    threshold=eps(class(XstdArray));    
    while (diff>threshold)          
        numerator=(sum(Dsq ./ (Dsq+lamdaPrev))-df);        
        denominator=sum(Dsq./((Dsq+lamdaPrev).^2));        
        lamdaCur=lamdaPrev+(numerator/denominator);        
        diff=lamdaCur-lamdaPrev;        
        lamdaPrev=lamdaCur;        
    end
    lamda=lamdaCur;
end