Daher wurde mir die Frage gestellt, welche zentralen Kennzahlen L1 (dh Lasso) und L2 (dh Gratregression) geschätzt wurden. Die Antwort lautet L1 = Median und L2 = Mittelwert. Gibt es irgendeine Art von intuitivem Denken dafür? Oder muss es algebraisch ermittelt werden? Wenn ja, wie mache ich...
Einige und Approximationen sind gut untersucht, wie zum Beispiel der LASSO ( ) und der Ridge ( ) und wie diese in der Regression verglichen werden.L 2L1L1L_1L2L2L_2 Ich habe über die Brückenstrafe gelesen, die die verallgemeinerte Strafe ist. Vergleichen Sie das mit dem LASSO mit \ gamma = 1 und...
Betrachten Sie die Ridge-Regression mit einer zusätzlichen Einschränkung, die voraussetzt, dass eine Einheitssumme von Quadraten hat (entsprechend eine Einheitsvarianz). Bei Bedarf kann man davon ausgehen, dass eine Einheitssumme von Quadraten hat:y^y^\hat{\mathbf y}yy\mathbf
Betrachten Sie das Standardmodell für die multiple Regression wobei gilt.ε ∼ N ( 0 , σ 2 I n )Y.= Xβ+ εY.=Xβ+εY=X\beta+\varepsilonε ∼ N( 0 , σ2ichn)ε∼N(0,σ2ichn)\varepsilon \sim \mathcal N(0, \sigma^2I_n) Angenommen, wir führen eine Gratregression durch, indem wir allen Elementen der Diagonale von...
Für ein lineares Modell ist der Schrumpfterm immer .y=β0+xβ+εy=β0+xβ+εy=\beta_0+x\beta+\varepsilonP( β)P(β)P(\beta) Was ist der Grund, warum wir den Verzerrungsbegriff nicht verkleinern ? Sollen wir den Bias-Term in den neuronalen Netzwerkmodellen
Angenommen, ich versuche, eine große Anzahl von Parametern aus hochdimensionalen Daten mit einer Art regulierter Schätzungen abzuschätzen. Der Regularisierer führt einige Verzerrungen in die Schätzungen ein, aber es kann immer noch ein guter Kompromiss sein, da die Verringerung der Varianz dies...
Ich benutze das R-Paket bestraft , um geschrumpfte Koeffizientenschätzungen für einen Datensatz zu erhalten, bei dem ich viele Prädiktoren und wenig Wissen darüber habe, welche wichtig sind. Gibt es, nachdem ich die Abstimmungsparameter L1 und L2 ausgewählt und mit meinen Koeffizienten zufrieden...
Ich habe verstanden, wie die Gratregression die Koeffizienten geometrisch gegen Null schrumpft. Außerdem weiß ich, wie man das im speziellen "Orthonormalen Fall" beweist, aber ich bin verwirrt, wie das im allgemeinen Fall über "Spektrale Zerlegung"
Ich erinnere mich , im Web habe irgendwo gelesen, die eine Verbindung zwischen Ridge - Regression (mit ℓ2ℓ2\ell_2 Regularisierung) und PCA Regression: bei der Verwendung von ℓ2ℓ2\ell_2 -regularized Regression mit Hyper λλ\lambda , wenn λ→0λ→0\lambda \to 0 , dann ist die Regression auf dem Entfernen...
Ich verwende die Ridge-Regression für hoch multikollineare Daten. Mit OLS erhalte ich aufgrund der Multikollinearität große Standardfehler bei den Koeffizienten. Ich weiß, dass die Gratregression eine Möglichkeit ist, mit diesem Problem umzugehen, aber in allen Implementierungen der Gratregression,...
Was ist der Unterschied zwischen Primal , Dual und Kernel Ridge Regression? Die Leute benutzen alle drei, und wegen der unterschiedlichen Notation, die jeder an verschiedenen Quellen benutzt, ist es schwierig für mich zu folgen. Kann mir jemand mit einfachen Worten sagen, was der Unterschied...
Die Frage, was aus diesem Lasso-Plot (glmnet) zu schließen ist, zeigt Lösungswege für den Lasso-Schätzer, die nicht monoton sind. Das heißt, einige der Cofficients nehmen im absoluten Wert zu, bevor sie schrumpfen. Ich habe diese Modelle auf verschiedene Arten von Datensätzen angewendet und dieses...
Ich kenne die Vorteile der Regularisierung bei der Erstellung von Vorhersagemodellen (Bias vs. Varianz, Vermeidung von Überanpassung). Aber ich frage mich, ob es eine gute Idee ist, auch Regularisierungen durchzuführen (Lasso, Grat, elastisches Netz), wenn der Hauptzweck des Regressionsmodells...
Bestrafte Regressionsschätzer wie LASSO und Ridge sollen Bayes'schen Schätzern mit bestimmten Prioritäten entsprechen. Ich vermute (da ich nicht genug über Bayes'sche Statistiken weiß), dass für einen festen Abstimmungsparameter ein konkreter entsprechender Prior existiert. Nun würde ein...
Ich implementiere Ridge Regression in einem Python / C-Modul und bin auf dieses "kleine" Problem gestoßen. Die Idee ist, dass ich die effektiven Freiheitsgrade mehr oder weniger gleichmäßig verteilt abtasten möchte (wie die grafische Darstellung auf Seite 65 unter "Elemente des statistischen...
Während eines Experiments zur Textklassifizierung habe ich Ergebnisse gefunden, die die Tests unter den Klassifizierern, die häufiger erwähnt und für Text-Mining-Aufgaben wie SVM, NB, kNN usw. angewendet werden, ständig übertreffen zur Optimierung jedes Klassifikators für diese spezielle...
Bei der Erklärung der LASSO-Regression wird häufig das Diagramm eines Diamanten und eines Kreises verwendet. Es wird gesagt, dass, da die Form der Beschränkung in LASSO ein Diamant ist, die erhaltene Lösung der kleinsten Quadrate die Ecke des Diamanten berühren könnte, so dass dies zu einer...
Betrachten wir ein Standard OLS Regressionsproblem : Ich habe Matrizen und und ich möchte \ B finden, um L = \ | \ Y- \ X \ B \ | ^ 2 zu minimieren . Die Lösung ist gegeben durch \ hat \ B = \ argmin_ \ B \ {L \} = (\ X ^ \ top \ X) ^ + \ X ^ \ top \ Y.\newcommand{\Y}{\mathbf
Bei der Lasso oder Ridge-Regression muss ein Schrumpfungsparameter angegeben werden, der häufig als oder . Dieser Wert wird häufig über eine Kreuzvalidierung ausgewählt, indem eine Reihe verschiedener Werte in den Trainingsdaten überprüft wird und ermittelt wird, welche die besten Werte ergeben, z....
Die Ridge-Regression schätzt die Parameter in einem linearen Modell \ mathbf y = \ mathbf X \ boldsymbol \ beta nach \ hat {\ boldsymbol \ beta} _ \ lambda = (\ mathbf X ^ \ top \ mathbf X + \ lambda \ mathbf I) ^ {- 1} \ mathbf X ^ \ top \ mathbf y, wobei \ lambda ein Regularisierungsparameter...