Als «regularization» getaggte Fragen

33

Ist die Regression mit L1-Regularisierung gleichbedeutend mit Lasso und mit L2-Regularisierung gleichbedeutend mit Ridge-Regression? Und wie schreibt man „Lasso“?

Ich bin ein Software-Ingenieur, der maschinelles Lernen lernt, insbesondere durch die maschinellen Lernkurse von Andrew Ng . Beim Studium der linearen Regression mit Regularisierung habe ich Begriffe gefunden, die verwirrend sind: Regression mit L1-Regularisierung oder L2-Regularisierung LASSO...

32

Ist die Tikhonov-Regularisierung die gleiche wie die Ridge-Regression?

Tikhonov-Regularisierung und Gratregression werden häufig als identische Begriffe verwendet. Kann der Unterschied genau angegeben

regression terminology regularization ridge-regression tikhonov-regularization

32

Warum Regularisierung in der Polynomregression verwenden, anstatt den Grad zu senken?

Wenn Sie beispielsweise eine Regression durchführen, müssen häufig zwei Hyperparameter ausgewählt werden: die Kapazität der Funktion (z. B. der größte Exponent eines Polynoms) und der Grad der Regularisierung. Was mich verwirrt, ist, warum nicht einfach eine Funktion mit geringer Kapazität wählen...

regression machine-learning optimization regularization polynomial

30

Wann funktioniert die L1-Regularisierung besser als die L2-Regularisierung und umgekehrt?

Hinweis: Ich weiß, dass L1 die Eigenschaft zur Featureauswahl hat. Ich versuche zu verstehen, welche ich wählen soll, wenn die Funktionsauswahl völlig irrelevant ist. Wie kann man entscheiden, welche Regularisierung (L1 oder L2) verwendet werden soll? Was sind die Vor- und Nachteile jeder L1 /...

regression lasso regularization ridge-regression

29

Anpassen eines ARIMAX-Modells mit Regularisierung oder Bestrafung (z. B. mit Lasso, elastischem Netz oder Kammregression)

Ich verwende die auto.arima () -Funktion im Vorhersagepaket , um ARMAX-Modelle mit einer Vielzahl von Kovariaten zu kombinieren. Ich habe jedoch oft eine große Anzahl von Variablen zur Auswahl und erhalte normalerweise ein endgültiges Modell, das mit einer Teilmenge von ihnen funktioniert. Ich mag...

r time-series lasso regularization elastic-net

29

Merkmalsauswahl & Modell mit GLMnet auf Methylierungsdaten (p >> N)

Ich möchte GLM und Elastic Net verwenden, um die relevanten Features auszuwählen und ein lineares Regressionsmodell zu erstellen (dh sowohl Vorhersage als auch Verständnis, daher ist es besser, relativ wenige Parameter zu haben). Die Ausgabe erfolgt kontinuierlich. Es sind Gene pro Fälle. Ich habe...

r regularization glmnet elastic-net underdetermined

28

Warum ist meine Ableitung einer Lasso-Lösung in geschlossener Form falsch?

Das Lasso-Problem hat die geschlossene Form Lösung: \ beta_j ^ {\ text {lasso}} = \ mathrm {sgn} (\ beta ^ {\ text {LS}} _ j) (| \ beta_j ^ {\ text {LS }} | - \ alpha) ^ + wenn X orthonormale Spalten hat. Dies wurde in diesem Thread gezeigt: Herleitung einer Lasso-Lösung in geschlossener Form...

regression lasso regularization

28

Ist eine Standardisierung vor Lasso wirklich notwendig?

Ich habe vor etwas wie LassoRegression drei Hauptgründe für die Standardisierung von Variablen gelesen : 1) Interpretierbarkeit von Koeffizienten. 2) Fähigkeit, die Wichtigkeit des Koeffizienten nach der relativen Größe der Schätzungen des Nachschrumpfungskoeffizienten zu ordnen. 3) Keine...

normalization lasso standardization regularization shrinkage

27

Können Freiheitsgrade eine nicht ganzzahlige Zahl sein?

Wenn ich GAM verwende, erhalte ich einen DF-Rest von (letzte Zeile im Code). Was bedeutet das? Über das GAM-Beispiel hinausgehend: Kann die Anzahl der Freiheitsgrade im Allgemeinen eine nicht ganzzahlige Zahl sein?26.626.626.6 > library(gam) > summary(gam(mpg~lo(wt),data=mtcars)) Call:...

r degrees-of-freedom gam machine-learning pca lasso probability self-study bootstrap expected-value regression machine-learning linear-model probability simulation random-generation machine-learning distributions svm libsvm classification pca multivariate-analysis feature-selection archaeology r regression dataset simulation r regression time-series forecasting predictive-models r mean sem lavaan machine-learning regularization regression conv-neural-network convolution classification deep-learning conv-neural-network regression categorical-data econometrics r confirmatory-factor scale-invariance self-study unbiased-estimator mse regression residuals sampling random-variable sample probability random-variable convergence r survival weibull references autocorrelation hypothesis-testing distributions correlation regression statistical-significance regression-coefficients univariate categorical-data chi-squared regression machine-learning multiple-regression categorical-data linear-model pca factor-analysis factor-rotation classification scikit-learn logistic p-value regression panel-data multilevel-analysis variance bootstrap bias probability r distributions interquartile time-series hypothesis-testing normal-distribution normality-assumption kurtosis arima panel-data stata clustered-standard-errors machine-learning optimization lasso multivariate-analysis ancova machine-learning cross-validation

27

Warum führen kleinere Gewichte zu einfacheren Regularisierungsmodellen?

Ich habe Andrew Ngs Maschinelles Lernen-Kurs vor ungefähr einem Jahr abgeschlossen und schreibe jetzt meine High-School-Mathematikerkunde über die Funktionsweise der logistischen Regression und Techniken zur Leistungsoptimierung. Eine dieser Techniken ist natürlich die Regularisierung. Ziel der...

regression machine-learning optimization regularization overfitting

27

Warum entspricht die Lasso-Strafe der doppelten Exponentialzahl (Laplace) vor?

Ich habe in einer Reihe von Referenzen gelesen, dass die Lasso-Schätzung für den Regressionsparametervektor dem posterioren Modus von in dem die vorherige Verteilung für jedes eine doppelte Exponentialverteilung ist (auch als Laplace-Verteilung bekannt).BBBBBBBiBiB_i Ich habe versucht, dies zu...

regression bayesian lasso prior regularization

27

Warum verwendet glmnet ein "naives" elastisches Netz aus dem Originalpapier von Zou & Hastie?

Das ursprüngliche elastische Netzpapier Zou & Hastie (2005) Regularisierung und Variablenauswahl über das elastische Netz führten die elastische Nettoverlustfunktion für die lineare Regression ein (hier gehe ich davon aus, dass alle Variablen zentriert und auf die Einheitsvarianz skaliert...

regression regularization glmnet elastic-net shrinkage

27

Der Ursprung des Begriffs "Regularisierung"

Wenn ich meinen Schülern Konzepte vorstelle, finde ich es oft lustig, ihnen zu sagen, woher die Terminologie stammt ("Regression" ist beispielsweise ein Begriff mit einer interessanten Herkunft). Ich konnte die Geschichte / den Hintergrund des Begriffs "Regularisierung" im statistischen /...

terminology regularization history tikhonov-regularization

26

Vorteile von „doppeltem Lasso“ oder zweimaligem Lasso?

Ich habe einmal eine Methode gehört, das Lasso zweimal zu verwenden (wie ein Doppel-Lasso), bei der Sie Lasso für die ursprüngliche Menge von Variablen ausführen, z. B. S1, eine dünn besetzte Menge mit der Bezeichnung S2 erhalten und dann erneut Lasso für die Menge S2 ausführen, um die Menge S3 zu...

regression lasso regularization shrinkage lars

26

Warum sollten Sie Lasso-Schätzungen anstelle von OLS-Schätzungen für die von Lasso identifizierte Untergruppe von Variablen verwenden?

Nehmen Sie für die Lasso-Regression dass die beste Lösung (zum Beispiel minimaler Testfehler) Merkmale auswählt . so dass .k β l a s s o = ( β l a s s o 1 , β l a s s O 2 , . . . , β l aL ( β) = ( Xβ- y)′(Xβ-y) + λ ∥

regression feature-selection lasso regularization

25

Ist es sinnvoll, PCA und LDA zu kombinieren?

Angenommen, ich habe einen Datensatz für eine überwachte statistische Klassifizierungsaufgabe, z. B. über einen Bayes-Klassifizierer. Dieser Datensatz besteht aus 20 Merkmalen, und ich möchte ihn mithilfe von Dimensionalitätsreduktionstechniken wie der Hauptkomponentenanalyse (PCA) und / oder der...

classification pca regularization discriminant-analysis overfitting

25

Interpretation der Gratregulierung in der Regression

Ich habe verschiedene Fragen bezüglich der First Penalty im Rahmen der kleinsten Fehlerquadrate: βridge=(λID+X′X)−1X′yβridge=(λID+X′X)−1X′y\beta_{ridge} = (\lambda I_D + X'X)^{-1}X'y 1) Der Ausdruck legt nahe, dass die Kovarianzmatrix von X zu einer Diagonalmatrix geschrumpft ist, was bedeutet,...

regression pca regularization ridge-regression

25

Wie können Hauptkomponenten die Vorhersagekraft einer abhängigen Variablen beibehalten (oder sogar zu besseren Vorhersagen führen)?

Angenommen, ich führe eine Regression . Warum behält das Modell durch Auswahl der Top- Hauptkomponenten von seine Vorhersagekraft für ?Y.∼ XY.∼XY \sim XkkkXXXY.Y.Y Ich verstehe, dass aus Sicht der Dimensionsreduktion / Merkmalsauswahl, wenn die Eigenvektoren der Kovarianzmatrix von mit den...

regression classification pca dimensionality-reduction regularization

24

Mittelwert der L1-Regressionsschätzung, Mittelwert der L2-Regressionsschätzung?

Daher wurde mir die Frage gestellt, welche zentralen Kennzahlen L1 (dh Lasso) und L2 (dh Gratregression) geschätzt wurden. Die Antwort lautet L1 = Median und L2 = Mittelwert. Gibt es irgendeine Art von intuitivem Denken dafür? Oder muss es algebraisch ermittelt werden? Wenn ja, wie mache ich...

lasso regularization loss-functions ridge-regression

23

Warum ist Lambda „innerhalb eines Standardfehlers vom Minimum“ ein empfohlener Wert für Lambda in einer elastischen Netto-Regression?

Ich verstehe, welche Rolle Lambda in einer elastischen Netzregression spielt. Und ich kann verstehen, warum man lambda.min auswählen würde, den Wert von lambda, der quervalidierte Fehler minimiert. Meine Frage ist, wo in der Statistikliteratur die Verwendung von Lambda.1se empfohlen wird, dh der...

regression cross-validation regularization glmnet elastic-net