Ich versuche herauszufinden , ob Ridge Regression , LASSO , Principal Component Regression (PCR) oder Partial Least Squares (PLS) in einer Situation mit einer großen Anzahl von Variablen / Merkmalen ( ) und einer geringeren Anzahl von Stichproben ( ), und mein Ziel ist die
Ich bin neu im glmnetPaket und bin mir noch nicht sicher, wie ich die Ergebnisse interpretieren soll. Könnte mir bitte jemand beim Lesen des folgenden Traceplots helfen? Das Diagramm wurde erhalten, indem Folgendes ausgeführt wurde: library(glmnet) return <-
Ich kenne die Regularisierung nach LASSO, Ridge und Elastic-Net in linearen Regressionsmodellen. Frage: Kann diese (oder eine ähnliche) Art der bestraften Schätzung auf die ARIMA-Modellierung angewendet werden (mit einem nicht leeren MA-Teil)? Beim Erstellen von ARIMA-Modellen scheint es üblich zu...
Gibt es analytische Ergebnisse oder experimentelle Arbeiten zur optimalen Wahl des Koeffizienten für den Strafzeitpunkt ? ℓ1ℓ1\ell_1Mit optimal meine ich einen Parameter, der die Wahrscheinlichkeit der Auswahl des besten Modells maximiert oder den erwarteten Verlust minimiert. Ich frage, weil es...
Geschlossen. Diese Frage ist nicht zum Thema . Derzeit werden keine Antworten akzeptiert. Möchten Sie diese Frage verbessern? Aktualisieren Sie die Frage so dass es beim Thema für Kreuz Validated. Geschlossen vor 3 Jahren . Ich erstelle eine logistische Regression in R mithilfe der LASSO-Methode...
β^λ=argminβ∈Rp12n∥y−Xβ∥22+λ∥β∥1,β^λ=argminβ∈Rp12n‖y−Xβ‖22+λ‖β‖1,\hat\beta^\lambda = \arg\min_{\beta \in \mathbb{R}^p} \frac{1}{2n} \|y - X \beta\|_2^2 + \lambda \|\beta\|_1,ithithi^{th}xi∈Rpxi∈Rpx_i \in \mathbb{R}^pX∈Rn×pX∈Rn×pX \in \mathbb{R}^{n \times p}yiyiy_ii=1,…ni=1,…ni=1, \dots n Wir...
Was ist die asymptotische Zeitkomplexität der Lasso-Regression, wenn die Anzahl der Zeilen oder Spalten
Ich möchte eine zufällige Gesamtstruktur mit dem folgenden Verfahren erstellen: Erstellen Sie einen Baum aus zufälligen Stichproben der Daten und Features, und verwenden Sie dabei den Informationsgewinn, um die Aufteilung zu bestimmen Beenden Sie einen Blattknoten, wenn er eine vordefinierte Tiefe...
Mein allgemeines Verständnis ist, dass sich AIC mit dem Kompromiss zwischen der Anpassungsgüte des Modells und der Komplexität des Modells befasst. AIC=2k−2ln(L)AIC=2k−2ln(L)AIC =2k -2ln(L) kkk = Anzahl der Parameter im Modell LLL = Wahrscheinlichkeit Das Bayes'sche Informationskriterium BIC ist...
http://www.chioka.in/differences-between-l1-and-l2-as-loss-function-and-regularization/ Wenn Sie oben in diesem Beitrag nachsehen, erwähnt der Verfasser, dass die L2-Norm eine eindeutige Lösung und die L1-Norm möglicherweise viele Lösungen enthält. Ich verstehe dies als Regularisierung, aber...
Ich lese über die Auswahl der besten Teilmengen im Buch Elemente des statistischen Lernens. Wenn ich 3 Prädiktoren , erstelle ich 2 3 = 8 Teilmengen:x1,x2,x3x1,x2,x3x_1,x_2,x_323=823=82^3=8 Teilmenge ohne Prädiktoren Teilmenge mit Prädiktor x1x1x_1 Teilmenge mit Prädiktor x2x2x_2 Teilmenge mit...
\newcommand{\diag}{\operatorname{diag}} Wir haben das Problem: mit der Annahme, dass: \ sum_ {i = 1} ^ nx_ix_i ^ T = \ diag (\ sigma_1 ^ 2, ..., \ sigma_d ^ 2).minw∈Rd(1n∑i=1n(⟨w,xi⟩−yi)2+2λ||w||1),minw∈Rd(1n∑i=1n(⟨w,xi⟩−yi)2+2λ||w||1),\min_{w\in\mathbb{R}^{d}}\left( \frac{1}{n}\sum_{i=1}^{n}...
Welche Vor- und Nachteile hat die Verwendung von LARS [1] im Vergleich zur Verwendung der Koordinatenabsenkung für die Anpassung der L1-regulierten linearen Regression? Ich interessiere mich hauptsächlich für Leistungsaspekte (meine Probleme sind Nin der Regel Hunderttausende und p<20). Es sind...
Ich habe gelesen, dass das Gruppen-Lasso für die Variablenauswahl und die Sparsamkeit in einer Gruppe von Variablen verwendet wird. Ich möchte die Intuition hinter dieser Behauptung kennen. Warum wird Gruppenlasso dem Lasso vorgezogen? Warum ist der Lösungsweg des Gruppen-Lassos nicht stückweise...
Ich suche Open Source oder eine vorhandene Bibliothek, die ich nutzen kann. Soweit ich weiß, ist das glmnet-Paket nicht sehr einfach zu erweitern, um den nicht negativen Fall abzudecken. Ich kann mich irren, jeder mit irgendwelchen Ideen sehr geschätzt. Mit nicht negativ meine ich, dass alle...
Eine der Beweggründe für das elastische Netz war die folgende Einschränkung von LASSO: Im Fall p>np>np > n wählt das Lasso aufgrund der Art des konvexen Optimierungsproblems höchstens n Variablen aus, bevor es gesättigt wird. Dies scheint ein einschränkendes Merkmal für eine variable...
Ich möchte die Koeffizienten für das LASSO-Problem erhalten ||Y−Xβ||+λ||β||1.||Y−Xβ||+λ||β||1.||Y-X\beta||+\lambda ||\beta||_1. Das Problem ist, dass die Funktionen glmnet und lars unterschiedliche Antworten geben. Für die glmnet-Funktion frage ich nach den Koeffizienten von statt nur λ , aber ich...
Ich benutze das Paket 'lars' in R mit dem folgenden Code: > library(lars) > set.seed(3) > n <- 1000 > x1 <- rnorm(n) > x2 <- x1+rnorm(n)*0.5 > x3 <- rnorm(n) > x4 <- rnorm(n) > x5 <- rexp(n) > y <- 5*x1 + 4*x2 + 2*x3 + 7*x4 + rnorm(n) > x <-...
Es gibt mehrere mathematisch anspruchsvolle Artikel, die das Bayes'sche Lasso beschreiben, aber ich möchte getesteten, korrekten JAGS-Code, den ich verwenden kann. Könnte jemand einen Beispiel-BUGS / JAGS-Code veröffentlichen, der eine regulierte logistische Regression implementiert? Jedes Schema...
Tabelle 18.1 in den Elementen des statistischen Lernens fasst die Leistung mehrerer Klassifikatoren in einem 14-Klassen-Datensatz zusammen. Ich vergleiche einen neuen Algorithmus mit dem Lasso und dem elastischen Netz für solche Klassifizierungsprobleme mit mehreren Klassen. Unter Verwendung von...