Zou u.a. "Auf den" Freiheitsgraden "des Lassos" (2007) zeigen, dass die Anzahl der Koeffizienten ungleich Null eine unvoreingenommene und konsistente Schätzung für die Freiheitsgrade des Lassos ist. Es scheint mir ein wenig eingängig zu sein. Angenommen, wir haben ein Regressionsmodell (wobei die...
Jede Aussage, die ich vom James-Stein-Schätzer finde, geht davon aus, dass die zu schätzenden Zufallsvariablen dieselbe (und Einheits-) Varianz haben. Alle diese Beispiele erwähnen jedoch auch, dass der JS-Schätzer verwendet werden kann, um Mengen zu schätzen, die nichts miteinander zu tun haben....
In der Zwischenzeit studiere ich LASSO (Operator für geringste absolute Schrumpfung und Auswahl). Ich sehe, dass der optimale Wert für den Regularisierungsparameter durch Kreuzvalidierung ausgewählt werden kann. Ich sehe auch in der Gratregression und vielen Methoden, die Regularisierung anwenden,...
Angenommen , ich habe zwei Schätzern ß 1 und β 2 , die konsistente Schätzer des gleichen Parameters β 0 und so , dass √βˆ1β^1\widehat{\beta}_1βˆ2β^2\widehat{\beta}_2β0β0\beta_0n−−√(βˆ1−β0)→dN(0,V1),n−−√(βˆ2−β0)→dN(0,V2)n(β^1−β0)→dN(0,V1),n(β^2−β0)→dN(0,V2)\sqrt{n}(\widehat{\beta}_1 -\beta_0)...
Als einfaches Beispiel wird angenommen, dass es zwei lineare Regressionsmodelle gibt Modell 1 hat drei Prädiktoren x1a, x2bundx2c Modell 2 hat drei Prädiktoren aus Modell 1 und zwei zusätzliche Prädiktoren x2aundx2b Es gibt eine Populationsregressionsgleichung, bei der die erklärte...
Ich bin verwirrt über die Permutationsanalyse für die Merkmalsauswahl in einem logistischen Regressionskontext. Können Sie den zufälligen Permutationstest klar erläutern und erläutern, wie er für die Merkmalsauswahl gilt? Möglicherweise mit genauem Algorithmus und Beispielen. Wie ist der Vergleich...
Angenommen, ich habe Beobachtungen gepaart, die als für . Let und bezeichne der - ten größten beobachteten Wert von . Was ist die (bedingte) Verteilung von ? (oder gleichwertig das von )i = 1 , 2 , ... , n Z i = X i + Y i , Z i j j Z X i j Y i jXi∼N(0,σ2x),Yi∼N(0,σ2y),Xi∼N(0,σx2),Yi∼N(0,σy2),X_i...
Angenommen, ich habe Längsschnittdaten der Form (ich habe mehrere Beobachtungen, dies ist nur die Form einer einzigen). Ich bin an Einschränkungen für interessiert . Ein uneingeschränktes entspricht der Einnahme von mit .Y=(Y1,…,YJ)∼N(μ,Σ)Y=(Y1,…,YJ)∼N(μ,Σ)\mathbf Y = (Y_1, \ldots, Y_J) \sim...
Eine grundlegende Eigenschaft der Regression mit zufälligen Effekten besteht darin, dass die zufälligen Abschnittsschätzungen in Abhängigkeit von der relativen Varianz jeder Schätzung in Richtung des Gesamtmittelwerts der Antwort "geschrumpft" werden. U.^j= ρjy¯j+ ( 1 - ρj) y¯U.^j=ρjy¯j+(1-...
Kann jemand eine intuitive Vorstellung davon geben, warum es besser ist, eine kleinere Beta zu haben? Für LASSO kann ich verstehen, dass es hier eine Feature-Auswahlkomponente gibt. Weniger Funktionen machen das Modell einfacher und daher weniger wahrscheinlich, dass es überpasst. Für den Grat...
Ich möchte eine hierarchische GLM schätzen, aber mit Merkmalsauswahl, um zu bestimmen, welche Kovariaten auf Bevölkerungsebene relevant sind, um sie einzubeziehen. Angenommen, ich habe GGG Gruppen mit NNN Beobachtungen und KKK möglichen Kovariaten. Das heißt, ich habe eine Entwurfsmatrix von...
Angenommen , wir haben Proben die unabhängig und identisch mit dem Mittelwert = 0 und unbekannte nicht-singulären Kovarianzmatrix verteilt . Jede Probe ist ein Vektor der Größe .nnnX.1, . . . ,X.nX1,...,XnX_1,..., X_nM.MMX.ichXiX_ip × 1p×1p\times 1 Ich möchte den "Stein-Haff-Schätzer" [Stein, C....