Was sind

Ich habe in letzter Zeit viele Artikel über spärliche Darstellungen gesehen, und die meisten von ihnen verwenden die $\ell_p$ Norm und führen einige Minimierungen durch. Meine Frage ist, was ist die $\ell_p$ Norm und die $\ell_{p, q}$ Mischnorm? Und wie sind sie für die Regularisierung relevant?

Vielen Dank

Normen sind Funktionen, die Vektoren nehmen und nichtnegative Zahlen zurückgeben. Sie sind definiert als ‖ → x ‖ p = ( d ∑ i = 1 | x i | p ) 1 / p In dem Fall, in dem p = 2 ist , wird dies dieeuklidischeNorm genannt. Sie können den euklidischen Abstand als ‖ → x - → y ‖ 2 definieren . Wenn p = ∞ , bedeutet dies nur ‖ $\ell_p$

$$\|\vec x\|_p = \left(\sum_{i=1}^d |x_i|^p\right)^{1/p}$$ $p=2$$\|\vec x - \vec y\|_2$$p = \infty$(odermaxixi). Genau genommen musspmindestens eins sein, damit‖ → x ‖peineNorm ist. Wenn0<p<1 ist, dann ist‖ → x ‖pnicht wirklich eine Norm, da Normen die Dreiecksungleichung erfüllen müssen.$\|\vec x\|_\infty = \sup_i x_i$$\max_i x_i$$p$$\|\vec x\|_p$$0 < p < 1$$\|\vec x\|_p$

(Es gibt auch -Normen, die analog definiert sind, mit Ausnahme von Funktionen anstelle von Vektoren oder Sequenzen - das ist wirklich dasselbe, da Vektoren Funktionen mit endlichen Domänen sind.)$L_p$

Mir ist keine Verwendung einer Norm in einer Anwendung für maschinelles Lernen bekannt, bei der , außer bei p = ∞ . Normalerweise sehen Sie p = 2 oder p = 1 oder manchmal 1 < p < 2, wo Sie den Fall p = 1 lockern möchten ; ‖ → x ‖ 1 ist in → x nicht streng konvex , aber ‖ → x ‖ p ist für 1 < p < $p > 2$$p = \infty$$p = 2$$p = 1$$1 < p < 2$$p = 1$$\|\vec x\|_1$$\vec x$$\|\vec x\|_p$$1 < p < \infty$. Dies kann in bestimmten Fällen das "Finden" der Lösung "einfacher" machen.

Wenn Sie im Kontext der Regularisierung ‖ → x ‖ hinzufügen zu Ihrer Zielfunktion, was Sie sagenistdass Sie erwarten → x zuspärlich, das heißt,größten Teil aus Nullen besteht. Es ist ein bisschen technisch, aber wenn es einedichteLösung gibt, gibt es wahrscheinlich eine sparsamere Lösung mit derselben Norm. Wenn Sie erwarten, dass Ihre Lösung dicht ist, können SieIhrem Ziel ‖ → x ‖ 2 2 hinzufügen , da es dann viel einfacher ist, mit der Ableitung zu arbeiten. Beide dienen dazu, zu verhindern, dass die Lösung zu viel Gewicht hat.$\|\vec x\|_1$$\vec x$$\|\vec x\|_2^2$

Die gemischte Norm tritt auf, wenn Sie versuchen, mehrere Quellen zu integrieren. Grundsätzlich möchten Sie, dass der Lösungsvektor aus mehreren Teilen besteht , wobei j der Index einer Quelle ist. Die l p , q Norm ist nur die q -Norm alle p -Normen in einem Vektor gesammelt. Dh ‖ → x ‖ p , q = ( m $\vec{x}^j$$j$$\ell_{p,q}$$q$$p$

$$\|\vec x\|_{p,q} = \left( \sum_{j = 1}^m \left( \sum_{i=1}^d |x_i^j|^p\right)^{q/p}\right)^{1/q}$$

$\|\vec x\|_{1,2}$$1$$2$

Ich hoffe, das hilft.

Weitere Informationen finden Sie in diesem Dokument.