Was bedeuten Doppelbalken und 2 unten in gewöhnlichen kleinsten Quadraten?

10

Ich habe diese Notation für gewöhnliche kleinste Quadrate hier gesehen .

minwXwy22

Ich habe noch nie die Doppelstangen und die 2 unten gesehen. Was bedeuten diese Symbole? Haben sie eine spezifische Terminologie für sie?

Aseem Bansal
quelle
5
Die Verwendung der Doppelbalken zeigt nur an, dass wir die L2-Norm verwenden.
Michael R. Chernick
@ MichaelChernick und die 2? Ist das Teil der "L2-Norm"?
Aseem Bansal
1
Ja, wie L2 gibt es auch L1.
Jon
Ich denke, Xw sollte Xw da w ein Vektor ist
ilanman
@ilanman Ja, das war in der Notation vor der Bearbeitung. Ich habe es zurück geändert
Aseem Bansal

Antworten:

29

Sie sprechen von der Norm (euklidische Norm) des Vektors ( ). Wenn Ihnen dies kurz fremd ist, lautet die Norm eines Vektors :2XwypuRn

up=(i=1n|ui|p)1p

Also in deinem Fall was mit der Summe der quadratischen Residuen für eine lineare Regression übereinstimmt. Im Zusammenhang mit Regressionsproblemen wird dies auch häufig bei Berechnungen des mittleren quadratischen Fehlers (MSE) und bei der Gratregression auftreten .u22=((i=1n|ui|2)12)2=i=1nui2

Dies ist eine gängige Norm (unter anderem aus mathematischen Gründen). Wenn dies aus dem Kontext hervorgeht, werden die unteren weggelassen und nur .2u2

Wie in den Kommentaren erwähnt, sehen Sie möglicherweise auch die -Norm:1

u1=i=1n|ui|

Welches entspricht dem absoluten Wert. Auch hier sehen Sie dies in mittleren absoluten Fehler- (MAE) oder Lasso- Problemen.

Andere populäre Normen:

  • 0 : Hamming-Abstand oder von Nicht-Nullen in einem Vektor, dh bei der Berechnung der Sparsity eines Vektors. Technisch gesehen ist dies keine Norm (es ist eine Kardinalitätsfunktion), da Sie einen -Term in der Definition haben, aber er hat die Form einer Norm, also nennen wir ihn eine. 10
    • Diese Norm ist die ideale Norm, um Sparsity für Regressionsprobleme zu induzieren, da wir die Koeffizienten wirklich auf Null setzen wollen. Die Berechnung der Regularisierung ist jedoch NP-schwer. Stattdessen approximieren wir sie mit das über lineare Programmierung lösbar ist. Es ist auch in Compressed Sensing beliebt .01
  • -norm: = fürmaxi {|xi|}i=1,...,n
  • AF : Frobenius-Norm (euklidisch), angewendet auf eine MatrixARn×m=i=1nj=1m|aij|2
ilanman
quelle
2
Der Link zu Wolfram Alpha war wirklich hilfreich.
Aseem Bansal
Sie schreiben, dass die (Pseudo) -Norm die Anzahl der Nullen in einem Vektor zählt - haben Sie vielleicht die Anzahl der Einträge ungleich Null gemeint? (Dies würde konsistenter mit dem sein, was ich gesehen habe, und würde auch bedeuten, dass der Hamming-Abstand zwischen und , im Gegensatz zu minus dem Entfernung.)0u0u0Rnn
wchargin
1
Rechtschreibfehler: "Frobenius".
Hobbs
1
Anstelle von "das ist eine übliche Norm" hätte ich gerade gesagt "L2 ist die Norm";)
user541686