argminwL(w)=∑ni=1|yi−wTx|argminwL(w)=∑i=1n|yi−wTx| \underset{\textbf{w}}{\arg\min} L(w)=\sum_{i=1}^{n}|y_{i}-\textbf{w}^T\textbf{x}| min∑ni=1uimin∑i=1nui\min \sum_{i=1}^{n}u_{i} ui≥xTw−yii=1,…,nui≥xTw−yii=1,…,nu_i \geq \textbf{x}^T\textbf{w}- y_{i} \; i = 1,\ldots,n...
Hier ist ein Keras-Codebeispiel, das es verwendet: from keras.constraints import max_norm model.add(Convolution2D(32, 3, 3, input_shape=(3, 32, 32), border_mode='same', activation='relu', kernel_constraint=max_norm(3)))
Ich führe Experimente mit dem EMNIST-Validierungssatz unter Verwendung von Netzwerken mit RMSProp, Adam und SGD durch. Ich erreiche eine Genauigkeit von 87% mit SGD (Lernrate von 0,1) und Dropout (0,1 Dropout Prob) sowie L2-Regularisierung (1e-05-Strafe). Wenn ich die gleiche exakte Konfiguration...
Meine Friseurin Stacey macht immer ein fröhliches Gesicht, ist aber oft gestresst, ihre Zeit zu verwalten. Heute war Stacey für meinen Termin überfällig und sehr entschuldigend. Als ich meinen Haarschnitt bekam, fragte ich mich: Wie lange sollten ihre Standardtermine dauern? (Wenn die Präferenz des...
Ich habe eine Frage zur Parameteroptimierung, wenn ich die 10-fache Kreuzvalidierung verwende. Ich möchte fragen, ob die Parameter während des Modelltrainings jeder Falte festgelegt werden sollen oder nicht, dh (1) einen Satz optimierter Parameter für die durchschnittliche Genauigkeit jeder Falte...
Ich habe eine Wahrscheinlichkeitsfunktion für die Wahrscheinlichkeit meiner Daten bei einigen Modellparametern , die ich schätzen möchte. Unter der Annahme flacher Prioritäten für die Parameter ist die Wahrscheinlichkeit proportional zur posterioren Wahrscheinlichkeit. Ich benutze eine...
Ich wollte den genauen Test des Fischers besser verstehen, deshalb habe ich das folgende Spielzeugbeispiel entwickelt, bei dem f und m männlich und weiblich und n und y dem "Sodakonsum" wie folgt entsprechen: > soda_gender f m n 0 5 y 5 0 Dies ist natürlich eine drastische Vereinfachung,...
Ich versuche, den Nelder-Mead-Algorithmus zur Optimierung einer Funktion zu implementieren. Die Wikipedia-Seite über Nelder-Mead ist überraschend klar über den gesamten Algorithmus, mit Ausnahme seines Stoppkriteriums. Dort heißt es leider: Auf Konvergenz prüfen [Klarstellung erforderlich] . Ich...
Gemäß den Referenzen Buch 1 , Buch 2 und Papier . Es wurde erwähnt, dass es eine Äquivalenz zwischen der regulierten Regression (Ridge, LASSO und Elastic Net) und ihren Einschränkungsformeln gibt. Ich habe mir auch Cross Validated 1 und Cross Validated 2 angesehen , aber ich kann keine klare...
Ich suche nach einer optimalen Binning-Methode (Diskretisierung) einer kontinuierlichen Variablen in Bezug auf eine gegebene Antwort- (Ziel-) Binärvariable und mit einer maximalen Anzahl von Intervallen als Parameter. Beispiel: Ich habe eine Reihe von Beobachtungen von Personen mit den Variablen...
Bezieht sich die Verwendung von "Variation" immer auf die Optimierung durch Variationsinferenz? Beispiele: "Variations-Auto-Encoder" "Variations-Bayes'sche Methoden" "Variations-Renormierungsgruppe"
Dies ist ein schwieriges Thema für mich, da die Wörter Optimierung und Stochastik in einer Suche fast automatisch standardmäßig nach stochastischer Optimierung suchen. Was ich aber wirklich wissen möchte, ist, welche Methoden zur Optimierung von Computermodellen existieren, wenn die Ausgabe des...
Bei der Auswahl des Regularisierungsparameters Lambda in Ridge oder Lasso wird empfohlen, verschiedene Lambda-Werte auszuprobieren, den Fehler im Validierungssatz zu messen und schließlich den Lambda-Wert auszuwählen, der den niedrigsten Fehler zurückgibt. Es ist mir kein Problem, wenn die Funktion...
Beim maschinellen Lernen (für Regressionsprobleme) sehe ich häufig, dass der mittlere quadratische Fehler (MSE) oder der mittlere absolute Fehler (MAE) als Fehlerfunktion zum Minimieren verwendet werden (plus Regularisierungsterm). Ich frage mich, ob es Situationen gibt, in denen die Verwendung des...
Das mgcvPaket für Rhat zwei Funktionen zum Anpassen von Tensorproduktwechselwirkungen: te()und ti(). Ich verstehe die grundlegende Arbeitsteilung zwischen den beiden (Anpassen einer nichtlinearen Wechselwirkung vs. Zerlegen dieser Wechselwirkung in Haupteffekte und eine Wechselwirkung). Was ich...
Wenn ich ein Design haben Matrix , wobei n die Anzahl der Beobachtungen der Dimension d , was die Komplexität der Lösung für β = argmin β 1X.∈ R.n × dX∈Rn×dX\in\mathcal{R}^{n\times d}nnndddmit LASSO, wrtnundd? Ich denke, die Antwort sollte sich darauf beziehen, wieeineLASSO-Iteration mit diesen...
Ich bin in einem der Online-Kurse auf diese Folien (Folie 16 und 17) gestoßen. Der Ausbilder versuchte zu erklären, wie die maximale posteriore Schätzung (MAP) tatsächlich die Lösung L(θ)=I[θ≠θ∗]L(θ)=I[θ≠θ∗]L(\theta) = \mathcal{I}[\theta \ne \theta^{*}] , wobei θ∗θ∗\theta^{*} der wahre Parameter...
Das Elo-Bewertungssystem verwendet einen Gradientenabstiegsminimierungsalgorithmus der Kreuzentropieverlustfunktion zwischen der erwarteten und der beobachteten Wahrscheinlichkeit eines Ergebnisses in gepaarten Vergleichen. Wir können die allgemeinen Verlustfunktionen als schreiben...
Grundsätzlich möchte ich Ähnlichkeitsmaße in Gewichte umwandeln, die als Prädiktoren verwendet werden. Die Ähnlichkeiten werden auf [0,1] sein, und ich werde die Gewichte so einschränken, dass sie auch auf [0,1] liegen. Ich hätte gerne eine Parameterfunktion, die dieses Mapping ausführt, das ich...
Ich folge dem Tensorflow Mnist-Tutorial ( https://github.com/tensorflow/tensorflow/blob/master/tensorflow/examples/tutorials/mnist/mnist_softmax.py ). Das Tutorial verwendet tf.train.Optimizer.minimize(speziell tf.train.GradientDescentOptimizer). Ich sehe keine Argumente, die irgendwo übergeben...