Ist die Tikhonov-Regularisierung die gleiche wie die Ridge-Regression?

Antworten:

46

Die Tikhonov-Regularisierung ist eine größere Menge als die Kammregression. Hier ist mein Versuch, genau darzulegen, wie sie sich unterscheiden.

Angenommen , wir wollen für eine bekannte Matrix A und einen Vektor b einen Vektor x so finden, dass:

Ax=b .

Der Standardansatz ist die gewöhnliche lineare Regression kleinster Quadrate. Wenn jedoch kein x die Gleichung erfüllt oder wenn mehr als ein x tut - das heißt, die Lösung ist nicht eindeutig -, wird das Problem als schlecht gestellt bezeichnet. Ordentliche kleinste Quadrate versuchen, die Summe der quadratischen Residuen zu minimieren, die kompakt geschrieben werden können als:

EINx-b2

woist die euklidische Norm. In der Matrixnotation ist die mit bezeichnete Lösung gegeben durch:xx^

x^=(EINTEIN)-1EINTb

Die Tikhonov-Regularisierung wird minimiert

EINx-b2+Γx2

für einige geeignet ausgewählte Tikhonov-Matrix . Eine explizite Matrixformlösung, bezeichnet mit , ist gegeben durch:xΓx^

x^=(EINTEIN+ΓTΓ)-1EINTb

Der Effekt der Regularisierung kann über die Skala von Matrix variiert werden . Für reduziert sich dies auf die unregelmäßige Lösung der kleinsten Quadrate, vorausgesetzt, dass (A T A) −1 existiert.Γ = 0ΓΓ=0

Typischerweise werden für die Gratregression zwei Abweichungen von der Tikhonov-Regularisierung beschrieben. Erstens wird die Tikhonov-Matrix durch ein Vielfaches der Identitätsmatrix ersetzt

Γ=αich ,

Lösungen mit kleinerer Norm, dh der Norm , den . Dann wird zu führeTL2ΓTΓα2ich

x^=(EINTEIN+α2ich)-1EINTb

Schließlich wird für die Ridge-Regression typischerweise angenommen, dass Variablen so skaliert werden, dass die Form einer Korrelationsmatrix hat. und ist der Korrelationsvektor zwischen den Variablen und , zu dem führtX T X X T b x bEINXTXXTbxb

x^=(XTX+α2ich)-1XTb

In dieser Form wird der Lagrange-Multiplikator normalerweise durch , oder ein anderes Symbol ersetzt, behält aber die Eigenschaft k λ λ 0α2kλλ0

Bei der Formulierung dieser Antwort bestätige ich, dass ich großzügig von Wikipedia und von Ridge eine Schätzung der Übertragungsfunktionsgewichte übernommen habe

Carl
quelle
9
(+1) Der Vollständigkeit halber sollte erwähnt werden, dass das regulierte System in der praktischen Anwendung typischerweise in der Form , was dann als standardmäßiges lineares Problem der kleinsten Quadrate gelöst werden kann (z. B. über QR / SVD auf , ohne explizit die normalen Gleichungen zu bilden). A[EINαΓ]x[b0]EIN^xb^EIN^
GeoMatt22
Guter Punkt. Ich werde es später hinzufügen.
Carl
Sind das Glätten von Splines und ähnlichen Basiserweiterungsmethoden eine Teilmenge der Tikhonov-Regularisierung?
Sycorax sagt Reinstate Monica
@Sycorax erwarte ich nicht so. Beispielsweise würde ein B-Spline Ableitungen an Endpunkten auf Null setzen und Ableitungen und Größen des Splines mit Daten zwischen Endpunkten abgleichen. Durch die Tikhonov-Regularisierung wird der von Ihnen angegebene Parameterfehler minimiert, indem die Steigung der Anpassung geändert wird. Also verschiedene Dinge.
Carl
Die Tychonov-Regularisierung hat auch eine Formulierung in willkürlichen Dimensionen für (trennbare?) Hilbert-Räume
AIM_BLB
23

Carl hat eine gründliche Antwort gegeben, die die mathematischen Unterschiede zwischen Tikhonov-Regularisierung und Gratregression gut erklärt. Inspiriert von der historischen Diskussion hier , hielt ich es für nützlich, ein kurzes Beispiel hinzuzufügen, das zeigt, wie nützlich das allgemeinere Tikhonov-Framework sein kann.

Zuerst eine kurze Anmerkung zum Kontext. In der Statistik trat eine Gratregression auf, und während die Regularisierung in Statistik und maschinellem Lernen mittlerweile weit verbreitet ist, war der Ansatz von Tikhonov ursprünglich durch inverse Probleme bei der modellbasierten Datenassimilation (insbesondere in der Geophysik ) motiviert . Das vereinfachte Beispiel unten befindet sich in dieser Kategorie (komplexere Versionen werden für Paläoklima-Rekonstruktionen verwendet ).


Stellen Sie sich vor, wir wollen die Temperaturen in der Vergangenheit auf der Grundlage der heutigen Messungen u [ x , t = T ] rekonstruieren . In unserem vereinfachten Modell werden wir diese Temperatur entwickelt sich entsprechend der übernehmen Wärmeleitungsgleichung u T = u x x in 1D mit periodischen Randbedingungen eine einfache (explicit) Finite - Differenzen - Ansatz führt zum diskreten Modell u[x,t=0]u[x,t=T]

ut=uxx
u[x+L,t]=u[x,t]
A u t = A - 1 u t + 1 T
ΔuΔt=LuΔx2ut+1=EINut
Mathematisch wird die Evolutionsmatrix invertierbar ist , so haben wir jedoch numerisch , Schwierigkeiten treten auf, wenn das Zeitintervall zu lang ist.EIN
ut=EIN-1ut+1
T

Die Tikhonov-Regularisierung kann dieses Problem lösen, indem fügt eine kleine Strafe für die Rauheit .

EINutut+1ωLut0
ω21uxx

Nachfolgend finden Sie einen Vergleich der Ergebnisse:

Tichonow gegen Schachbrett

Wir können sehen, dass die ursprüngliche Temperatur ein glattes Profil hat, das durch Diffusion noch weiter geglättet wird, um . Die direkte Inversion kann nicht wiederherstellen und die Lösung zeigt starke "Schachbrett" . Die Tikhonov-Lösung ist jedoch in der Lage, mit ziemlich guter Genauigkeit wiederherzustellen .u0ufwdu0uichnvureGu0

Beachten Sie, dass in diesem Beispiel die Gratregression unsere Lösung immer in Richtung einer "Eiszeit" treibt (dh gleichmäßige Nulltemperaturen). Die Tikhonov-Regression ermöglicht uns eine flexiblere physikalisch- basierte Vorbedingung: Hier besagt unsere Strafe im Wesentlichen, dass sich die Rekonstruktion nur langsam entwickeln sollte, dh .uut0


Matlab-Code für das Beispiel ist unten (kann hier online ausgeführt werden ).

% Tikhonov Regularization Example: Inverse Heat Equation
n=15; t=2e1; w=1e-2; % grid size, # time steps, regularization
L=toeplitz(sparse([-2,1,zeros(1,n-3),1]/2)); % laplacian (periodic BCs)
A=(speye(n)+L)^t; % forward operator (diffusion)
x=(0:n-1)'; u0=sin(2*pi*x/n); % initial condition (periodic & smooth)
ufwd=A*u0; % forward model
uinv=A\ufwd; % inverse model
ureg=[A;w*L]\[ufwd;zeros(n,1)]; % regularized inverse
plot(x,u0,'k.-',x,ufwd,'k:',x,uinv,'r.:',x,ureg,'ro');
set(legend('u_0','u_{fwd}','u_{inv}','u_{reg}'),'box','off');
GeoMatt22
quelle
Alle Komplimente herzlich aufgenommen. Besonders erwähnenswert ist, auch wenn etwas off topic, dass sowohl Tikhonov Regularisierung und Ridge - Regression können für das Targeting physikalische Regressions Ziele verwendet werden. (+1)
Carl
2
@ Carl das ist sicherlich wahr. Wir könnten es hier sogar verwenden , indem wir die Variablen auf ! (Im Allgemeinen kann jedes Tikhonov-Problem mit einer invertierbaren Tikhonov-Matrix in eine v=Lu
Gratregression