Ich versuche, die Manifold-Regularisierung in Support Vector Machines (SVMs) in Matlab zu implementieren. Ich folge den Anweisungen in der Arbeit von Belkin et al. (2006), da ist die Gleichung drin: f∗=argminf∈Hk∑li=1V(xi,yi,f)+γA∥f∥2A+γI∥f∥2If∗=argminf∈Hk∑i=1lV(xi,yi,f)+γA‖f‖A2+γI‖f‖I2f^{*} =...
Ich versuche, die MAP-Schätzung für ein Modell durch Gradientenabstieg zu finden. Mein Prior ist ein multivariater Gaußscher mit einer bekannten Kovarianzmatrix. Auf konzeptioneller Ebene glaube ich zu wissen, wie man das macht, aber ich hatte auf Hilfe bei den Details gehofft. Insbesondere wenn...
Ich verstehe, dass die Koeffizienten einer logistischen Gleichung als ungerades Verhältnis interpretiert werden können. Wie ändert sich die Interpretation der Koeffizienten, wenn ein Regularisierungsterm zur Kontrolle der Überanpassung hinzugefügt
Wenn wir unterschiedliche Werte des Parameters auswählen , können wir Lösungen mit unterschiedlichen Sparsity-Levels erhalten. Bedeutet dies, dass der Regularisierungspfad die Auswahl der Koordinate ist, die eine schnellere Konvergenz erzielen könnte? Ich bin ein wenig verwirrt, obwohl ich oft von...
Es wird normalerweise gesagt, dass Prioritäten in der Bayes'schen Statistik als Regularisierungsfaktoren angesehen werden können, da sie Lösungen benachteiligen, bei denen der Prior eine geringe Wahrscheinlichkeitsdichte aufweist. Dann ist dieses einfache Modell gegeben, dessen MLE-Parameter sind:...
Ich versuche zu verstehen , wie Regularisierung in der Bezeichnung der Projektionen auf ein Werk l∗l∗l_* Kugel und euklidische Projektion auf die simplex. Ich bin mir nicht sicher, ob ich verstehe, was wir meinen, wenn wir den Gewichtsvektor auf die l1l1l_1 oder l2l2l_2 Bälle projizieren . Ich...
ich wundere mich über die optimale Gitterfeinheit und Wie ist das Verhältnis zwischen Gitterfeinheit und Überanpassung? bei Regularisierungsmethoden wie LASSO, Ridge Regression oder Elastic Net. Angenommen, ich möchte ein Regressionsmodell mit LASSO an eine Stichprobe von 500 Beobachtungen anpassen...
Ich regressiere einen kontinuierlichen Prädiktor für über 60 Variablen (sowohl kontinuierlich als auch kategorial) mit LASSO (glmnet). Bei der Untersuchung des variablen Trace-Diagramms stelle ich fest, dass eine der Schlüsselvariablen mit zunehmendem log Lambda einen Koeffizienten aufweist, der...
Es gibt bereits Beiträge zu Warnungen von R, die sich mit logistischer Regression und linearer Trennung wie dieser befassen . Ich möchte nur sicherstellen, dass in Python Scikit Learn dieses Problem durch den L1 / L2-Regularisierungsteil in der Optimierungsfunktion gelöst wird. Mit anderen Worten,...
Ich freue mich darauf, mehr über die regulierten Regressionstechniken wie Ridge- und Lasso-Regression zu erfahren. Ich würde gerne wissen, was mit diesen Techniken im Vergleich zum linearen Regressionsmodell erreicht werden kann. Auch in welcher Situation sollten wir diese Techniken anwenden. Und...
Eine grundlegende Eigenschaft der Regression mit zufälligen Effekten besteht darin, dass die zufälligen Abschnittsschätzungen in Abhängigkeit von der relativen Varianz jeder Schätzung in Richtung des Gesamtmittelwerts der Antwort "geschrumpft" werden. U.^j= ρjy¯j+ ( 1 - ρj) y¯U.^j=ρjy¯j+(1-...
Ich habe das folgende Setup für ein Forschungsprojekt im Bereich Finanzen / Maschinelles Lernen an meiner Universität: Ich wende ein (Deep) Neural Network (MLP) mit der folgenden Struktur in Keras / Theano an, um überdurchschnittliche Aktien (Label 1) von unterdurchschnittlichen Aktien zu...
Wir können eine lineare Regression ohne Zufälligkeit simulieren, was bedeutet, dass wir y=Xβy=Xβy=X\beta anstelle von y=Xβ+ϵy=Xβ+ϵy=X\beta+\epsilon . Wenn wir dann ein lineares Modell anpassen, sind die Koeffizienten identisch mit der "Grundwahrheit". Hier ist ein Beispiel. set.seed(0) n <-...
Wenn Sie sich ein Histogramm als Schätzung der Dichtefunktion vorstellen, ist es sinnvoll, sich die Behältergröße als einen Parameter vorzustellen, der die lokale Struktur dieser Funktion einschränkt? Gibt es auch eine bessere Möglichkeit, diese Argumentation zu
Wir haben eine Antwort Y∈RnY∈RnY \in \Bbb R^n und Prädiktoren X=(x1,x2,⋯,xm)T∈Rn×mX=(x1,x2,⋯,xm)T∈Rn×mX = (x_1, x_2, \cdots, x_m)^T \in \Bbb R^{n \times m} Das Problem, das wir lösen wollen, ist argmink∈Rm(∥Y−Xk∥22+λ∥k∥0)→k0argmink∈Rm(‖Y−Xk‖22+λ‖k‖0)→k0\text{argmin}_{k \in \Bbb R^{m}} (\Vert Y -...
Bei der linearen Regression von Grat und Lasso besteht ein wichtiger Schritt darin, den Abstimmungsparameter Lambda zu wählen. Oft verwende ich die Rastersuche auf der Protokollskala von -6-> 4, sie funktioniert gut auf Grat, aber auf Lasso sollte ich die Reihenfolge berücksichtigen der Größe...
Meine Frage bezieht sich auf die Regularisierung in der linearen Regression und der logistischen Regression. Ich mache gerade Woche 3 von Andrew Ngs Kurs über maschinelles Lernen auf Coursera. Ich verstehe, wie Überanpassung ein häufiges Problem sein kann, und ich habe eine gewisse Intuition dafür,...
Sollte ich beim Übergang von der zur Normalisierung in der linearen Regression mehr Verzerrung oder Varianz erwarten? Beachten Sie, dass die Vorspannung ein Zeichen für eine Unteranpassung ist und die Varianz ein Zeichen für eine Überanpassung ist. Nehmen Sie eine Konstante λ an.L.2L2L^2L.1L1L^1...
Wenn ich es richtig verstehe, verwendet glmnet den zyklischen Koordinatenabstieg nicht nur für Lasso- und Gummibänder, sondern auch für die Ridge-Regression. Warum wird dieser Algorithmus verwendet, der manchmal leicht ungenaue Ergebnisse liefert, obwohl tatsächlich eine einfache Lösung in...
Betrachten Sie die elastische Netzregression mit einer glmnetähnlichen Parametrisierung der VerlustfunktionIch habe einen Datensatz mit n \ ll p (44 bzw. 3000) und verwende eine wiederholte 11-fache Kreuzvalidierung, um die optimalen Regularisierungsparameter \ alpha und \ lambda auszuwählen ....