Diese Frage befasst sich mit der eingeschränkten Maximalwahrscheinlichkeitsschätzung (REML) in einer bestimmten Version des linearen Modells, nämlich: Y=X(α)β+ϵ,ϵ∼Nn(0,Σ(α)),Y=X(α)β+ϵ,ϵ∼Nn(0,Σ(α)), Y = X(\alpha)\beta + \epsilon, \\ \epsilon\sim N_n(0, \Sigma(\alpha)), Wobei eine durch ;...
Deep-Learning-Literatur steckt voller cleverer Tricks bei der Verwendung nicht konstanter Lernraten beim Gradientenabstieg. Dinge wie Exponential Decay, RMSprop, Adagrad usw. sind einfach zu implementieren und in jedem Deep-Learning-Paket verfügbar, scheinen jedoch außerhalb neuronaler Netze nicht...
Diese Frage hat hier bereits Antworten : Backpropagation-Algorithmus (2 Antworten) Geschlossen im letzten Monat . Was ist der Backpropagation-Algorithmus und wie funktioniert
Gibt es schnelle Alternativen zum EM-Algorithmus zum Lernen von Modellen mit latenten Variablen (insbesondere pLSA)? Ich finde es in Ordnung, die Präzision zugunsten der Geschwindigkeit zu
Kürzlich habe ich einen Artikel von Yann Dauphin et al. Identifizierung und Angriff auf das Sattelpunktproblem bei der hochdimensionalen nichtkonvexen Optimierung , bei der ein interessanter Abstiegsalgorithmus namens " Sattelfreies Newton" eingeführt wird , der genau auf die Optimierung des...
Ein Freund von mir verkauft kkk Modelle von Mixern. Einige der Mixer sind sehr einfach und billig, andere sind sehr raffiniert und teurer. Seine Daten bestehen für jeden Monat aus den von ihm festgelegten Preisen für jeden Mixer und der Anzahl der verkauften Einheiten für jedes Modell. Um eine...
Eine der Beweggründe für das elastische Netz war die folgende Einschränkung von LASSO: Im Fall p>np>np > n wählt das Lasso aufgrund der Art des konvexen Optimierungsproblems höchstens n Variablen aus, bevor es gesättigt wird. Dies scheint ein einschränkendes Merkmal für eine variable...
Ich wollte wissen, wie viel maschinelles Lernen optimiert werden muss. Soweit ich gehört habe, ist Statistik ein wichtiges mathematisches Thema für Menschen, die mit maschinellem Lernen arbeiten. Ebenso wie wichtig ist es für jemanden, der mit maschinellem Lernen arbeitet, etwas über konvexe oder...
Der Naive Bayes-Klassifikator ist der Klassifikator, der Elemente einer Klasse auf der Grundlage der Maximierung des hinteren für die Klassenzugehörigkeit zuordnet und davon ausgeht, dass die Merkmale der Elemente unabhängig sind.C P ( C | x )xxxCCCP( C| x)P(C|x)P(C|x) Der 0-1-Verlust ist der...
Zielsetzung Bestätigen Sie, ob das Verständnis von KKT korrekt ist oder nicht. Weitere Erklärungen und Bestätigungen finden Sie auf KKT. Hintergrund Der Versuch, die KKT-Bedingungen zu verstehen, insbesondere die komplementären, die in SVM-Artikeln immer aus heiterem Himmel auftauchen. Ich...
Normalerweise passen wir in der logistischen Regression ein Modell an und erhalten einige Vorhersagen zum Trainingssatz. Anschließend validieren wir diese Trainingsvorhersagen (so ähnlich wie hier ) und bestimmen den optimalen Schwellenwert auf der Grundlage der ROC-Kurve. Warum integrieren wir die...
Ich arbeite an einem Projekt zur kollaborativen Filterung (CF), dh zur Vervollständigung einer teilweise beobachteten Matrix oder allgemeiner eines Tensors. Ich bin ein Neuling auf dem Gebiet, und für dieses Projekt muss ich schließlich unsere Methode mit anderen bekannten vergleichen, die...
Gibt es Forschergruppen, die daran arbeiten, Deep Learning für kombinatorische Optimierungsprobleme einzusetzen?
Die objektive Funktion der Hauptkomponentenanalyse (PCA) ist die Minimierung des Rekonstruktionsfehlers in der L2-Norm (siehe Abschnitt 2.12 hier) . Eine andere Ansicht versucht, die Varianz bei der Projektion zu maximieren. Wir haben auch hier einen ausgezeichneten Beitrag: Was ist die objektive...
Hier ist ein Keras-Codebeispiel, das es verwendet: from keras.constraints import max_norm model.add(Convolution2D(32, 3, 3, input_shape=(3, 32, 32), border_mode='same', activation='relu', kernel_constraint=max_norm(3)))
TL; DR: Die lme4Optimierung scheint standardmäßig in Bezug auf die Anzahl der Modellparameter linear zu sein und ist viel langsamer als ein äquivalentes glmModell mit Dummy-Variablen für Gruppen. Kann ich irgendetwas tun, um es zu beschleunigen? Ich versuche, ein ziemlich großes hierarchisches...
Um eine Überanpassung von Personen zu verhindern, fügen Menschen der Kostenfunktion der linearen Regression einen Regularisierungsterm (proportional zur quadratischen Summe der Parameter des Modells) mit einem Regularisierungsparameter . Ist dieser Parameter λ der gleiche wie ein...
Ich versuche, die Hyperparameter des von mir implementierten Gaußschen Prozessregressionsalgorithmus abzustimmen. Ich möchte einfach die logarithmische Grenzwahrscheinlichkeit maximieren, die durch die Formel wobeiKdie Kovarianzmatrix mit den ElementenKij=k(xi,xj)=b-1exp(- istLog( y | X., Θ ) = -...
argminwL(w)=∑ni=1|yi−wTx|argminwL(w)=∑i=1n|yi−wTx| \underset{\textbf{w}}{\arg\min} L(w)=\sum_{i=1}^{n}|y_{i}-\textbf{w}^T\textbf{x}| min∑ni=1uimin∑i=1nui\min \sum_{i=1}^{n}u_{i} ui≥xTw−yii=1,…,nui≥xTw−yii=1,…,nu_i \geq \textbf{x}^T\textbf{w}- y_{i} \; i = 1,\ldots,n...
Ich versuche, den Prozess zum Trainieren einer linearen Unterstützungsvektormaschine zu verstehen . Mir ist klar, dass die Eigenschaften von SMVs es ermöglichen, sie viel schneller zu optimieren als mit einem quadratischen Programmierlöser, aber zu Lernzwecken würde ich gerne sehen, wie dies...