Ich habe in letzter Zeit viele Artikel über spärliche Darstellungen gesehen, und die meisten von ihnen verwenden die ℓpℓp\ell_p Norm und führen einige Minimierungen durch. Meine Frage ist, was ist die ℓpℓp\ell_p Norm und die ℓp,qℓp,q\ell_{p, q} Mischnorm? Und wie sind sie für die Regularisierung...
Ich suche Literatur über negative Gratregression . Kurz gesagt, es ist eine Verallgemeinerung der linearen Regression unter Verwendung ridge negative λλ\lambda in der Schätzer β^=(X⊤X+λI)−1X⊤y.β^=(X⊤X+λI)−1X⊤y.\hat\beta = ( X^\top X + \lambda I)^{-1} X^\top y.Der positive Fall hat eine schöne...
Kann mich jemand auf einen (rekursiven) Online-Algorithmus für die Tikhonov-Regularisierung (regularisierte kleinste Quadrate) hinweisen? In einer Offline-Einstellung würde ich Verwendung meines ursprünglichen Datensatzes berechnen, wobei unter Verwendung der n-fachen Kreuzvalidierung gefunden...
Dieser Beitrag folgt diesem: Warum wird die Kammschätzung besser als die OLS, indem der Diagonale eine Konstante hinzugefügt wird? Hier ist meine Frage: Soweit ich weiß, verwendet die eine ℓ 2 -Norm (euklidischer Abstand). Aber warum verwenden wir das Quadrat dieser Norm? (Eine direkte Anwendung...
Um eine Überanpassung von Personen zu verhindern, fügen Menschen der Kostenfunktion der linearen Regression einen Regularisierungsterm (proportional zur quadratischen Summe der Parameter des Modells) mit einem Regularisierungsparameter . Ist dieser Parameter λ der gleiche wie ein...
Laut diesem Tutorial zum Tiefenlernen wird Gewichtsabnahme (Regularisierung) normalerweise nicht auf die Verzerrungsterme angewendet. B Warum? Welche Bedeutung (Intuition) steckt
Bei der komprimierten Abtastung gibt es einen Satz, der garantiert, dass argmin∥c∥1subject to y=Xcargmin‖c‖1subject to y=Xc\text{argmin} \Vert c \Vert_1\\ \text{subject to } y = Xc hat eine eindeutige, spärliche Lösungccc (siehe Anhang für weitere Details). Gibt es einen ähnlichen Satz für Lasso?...
Hier ist ein Keras-Codebeispiel, das es verwendet: from keras.constraints import max_norm model.add(Convolution2D(32, 3, 3, input_shape=(3, 32, 32), border_mode='same', activation='relu', kernel_constraint=max_norm(3)))
Ich höre diese Wörter immer mehr, während ich maschinelles Lernen studiere. Tatsächlich haben einige Leute die Fields-Medaille gewonnen, indem sie an Gleichungssystemen gearbeitet haben. Ich denke, dies ist ein Begriff, der sich von statistischer Physik / Mathematik zum maschinellen Lernen...
Geschlossen. Diese Frage ist nicht zum Thema . Derzeit werden keine Antworten akzeptiert. Möchten Sie diese Frage verbessern? Aktualisieren Sie die Frage so dass es beim Thema für Kreuz Validated. Geschlossen im vergangenen Jahr . Welche Open-Source-Implementierungen - in jeder Sprache - gibt es,...
Bei der Auswahl des Regularisierungsparameters Lambda in Ridge oder Lasso wird empfohlen, verschiedene Lambda-Werte auszuprobieren, den Fehler im Validierungssatz zu messen und schließlich den Lambda-Wert auszuwählen, der den niedrigsten Fehler zurückgibt. Es ist mir kein Problem, wenn die Funktion...
Mit Regularisierungstechniken beziehe ich mich auf Lasso, Gratregression, elastisches Netz und dergleichen. Stellen Sie sich ein Vorhersagemodell für Gesundheitsdaten vor, das demografische Daten und Diagnosedaten enthält, bei denen die Aufenthaltsdauer für stationäre Aufenthalte vorhergesagt...
In der Zwischenzeit studiere ich LASSO (Operator für geringste absolute Schrumpfung und Auswahl). Ich sehe, dass der optimale Wert für den Regularisierungsparameter durch Kreuzvalidierung ausgewählt werden kann. Ich sehe auch in der Gratregression und vielen Methoden, die Regularisierung anwenden,...
Ich habe bereits eine Vorstellung von den Vor- und Nachteilen der Gratregression und des LASSO. Für das LASSO ergibt der L1-Strafausdruck einen Vektor mit geringem Koeffizienten, der als Merkmalsauswahlmethode angesehen werden kann. Es gibt jedoch einige Einschränkungen für den LASSO. Wenn die...
Folgendes habe ich in Ian Goodfellows Buch Deep Learning gelesen . Im Zusammenhang mit neuronalen Netzen "wird die L2-Parameternormstrafe allgemein als Gewichtsabfall bezeichnet. Diese Regularisierungsstrategie bringt die Gewichte näher an den Ursprung [...]. Allgemeiner könnten wir die Parameter...
Mein Verständnis der LASSO-Regression ist, dass die Regressionskoeffizienten ausgewählt werden, um das Minimierungsproblem zu lösen: minβ∥y−Xβ∥22 s.t.∥β∥1≤tminβ‖y−Xβ‖22 s.t.‖β‖1≤t\min_\beta \|y - X \beta\|_2^2 \ \\s.t. \|\beta\|_1 \leq t In der Praxis wird dies mit einem Lagrange-Multiplikator...
Es gibt viele Methoden zur Durchführung der Regularisierung - beispielsweise die Regularisierung , und . Laut Friedman Hastie & Tibsharani hängt der beste Regularisierer vom Problem ab: nämlich der Art der tatsächlichen Zielfunktion, der jeweils verwendeten Basis, dem Signal-Rausch-Verhältnis...
In mehreren Antworten habe ich gesehen, dass CrossValidated-Benutzer OP vorschlagen, frühe Artikel über Lasso, Ridge und Elastic Net zu finden. Was sind für die Nachwelt die wegweisenden Arbeiten zu Lasso, Ridge und Elastic Net?
Ich war kürzlich bei einigen Statistikgesprächen über das Lasso (Regularisierung) und ein Punkt, der immer wieder auftaucht, ist, dass wir nicht wirklich verstehen, warum das Lasso funktioniert oder warum es so gut funktioniert. Ich frage mich, worauf sich diese Aussage bezieht. Natürlich verstehe...
Wie der Titel schon sagt, versuche ich, die Ergebnisse von glmnet linear mit dem LBFGS-Optimierer aus der Bibliothek zu replizieren lbfgs. Mit diesem Optimierer können wir einen L1-Regularisierungsbegriff hinzufügen, ohne uns um die Differenzierbarkeit kümmern zu müssen, solange unsere Zielfunktion...