Ich folge dem Tensorflow Mnist-Tutorial ( https://github.com/tensorflow/tensorflow/blob/master/tensorflow/examples/tutorials/mnist/mnist_softmax.py ). Das Tutorial verwendet tf.train.Optimizer.minimize(speziell tf.train.GradientDescentOptimizer). Ich sehe keine Argumente, die irgendwo übergeben...
Wenn ich ein Design haben Matrix , wobei n die Anzahl der Beobachtungen der Dimension d , was die Komplexität der Lösung für β = argmin β 1X.∈ R.n × dX∈Rn×dX\in\mathcal{R}^{n\times d}nnndddmit LASSO, wrtnundd? Ich denke, die Antwort sollte sich darauf beziehen, wieeineLASSO-Iteration mit diesen...
Ich versuche, die Gradientenabstiegsoptimierung in ML-Algorithmen (Machine Learning) zu verstehen. Ich verstehe , dass es eine Kostenfunktion-wo das Ziel ist , den Fehler zu minimieren . In einem Szenario, in dem die Gewichte optimiert werden, um den minimalen Fehler zu ergeben, und partielle...
Ich habe also 16 Studien, in denen ich versuche, eine Person anhand eines biometrischen Merkmals mithilfe von Hamming Distance zu authentifizieren. Mein Schwellenwert ist auf 3,5 eingestellt. Meine Daten sind unten und nur Versuch 1 ist ein wahres Positiv: Trial Hamming Distance 1 0.34 2 0.37 3...
Ich suche nach einer soliden Referenz (oder Referenzen) zu numerischen Optimierungstechniken, die sich an Statistiker richten, dh diese Methoden würden auf einige Standard-Inferenzprobleme angewendet (z. B. MAP / MLE in gängigen Modellen). Dinge wie Gradientenabstieg (gerade und stochastisch), EM...
Dies ist eine eher allgemeine Frage (dh nicht unbedingt spezifisch für Statistiken), aber ich habe einen Trend in der maschinellen Lern- und statistischen Literatur festgestellt, bei dem Autoren den folgenden Ansatz bevorzugen: Ansatz 1 : Erhalten Sie eine Lösung für ein praktisches Problem, indem...
Wie kann ich 95% -Konfidenzintervalle mithilfe der Profilerstellung für Parameter schätzen, die durch Maximieren einer Log-Likelihood-Funktion mithilfe von Optim in R geschätzt werden? Ich weiß, dass ich die Kovarianzmatrix durch Invertieren des Hessischen asymptotisch schätzen kann , aber ich bin...
Betrachten Sie eine Antwort y und Datenmatrix X . Angenommen, ich erstelle ein Modell des Formulars - y ~ g (X, )θθ\theta (g () könnte eine beliebige Funktion von X und )θθ\theta Zur Schätzung von θθ\theta Verwendung der Maximum Likelihood (ML) -Methode könnte ich entweder mit der bedingten ML...
Wenn wir eine glmFunktion in R verwenden, wird standardmäßig die iterativ neu gewichtete Methode der kleinsten Quadrate (IWLS) verwendet, um die maximale Wahrscheinlichkeitsschätzung der Parameter zu ermitteln. Jetzt habe ich zwei Fragen. Garantieren IWLS-Schätzungen das globale Maximum der...
Ich suche nach einem Paket, das mir hilft, einige quadratische Optimierungsprobleme zu lösen, und ich sehe, dass es mindestens ein halbes Dutzend verschiedene Pakete gibt. Laut dieser Seite: QP (Quadratic Programming, 90C20): cplexAPI , Kernlab , limSolve , LowRankQP , Quadprog , Rcplex , Rmosek...
Also versuche ich, mir neuronale Netze beizubringen (für Regressionsanwendungen, ohne Bilder von Katzen zu klassifizieren). Meine ersten Experimente waren das Trainieren eines Netzwerks zur Implementierung eines FIR-Filters und einer diskreten Fourier-Transformation (Training für "Vorher" - und...
In meinem ökonometrischen Lehrbuch (Introductory Econometrics) über OLS schreibt der Autor: "SSR muss fallen, wenn eine weitere erklärende Variable hinzugefügt wird." Warum ist
Ich dachte daran, Lasso mit Vanille-Subgradienten-Methoden zu lösen. Aber ich habe Leute gelesen, die vorschlagen, den proximalen Gradientenabstieg zu verwenden. Kann jemand hervorheben, warum für Lasso proximale GD anstelle von Vanille-Subgradienten-Methoden verwendet
Angenommen, wir möchten einige Erwartungen berechnen: EYEX|Y[f(X,Y)]EYEX|Y[f(X,Y)]E_YE_{X|Y}[f(X,Y)] Angenommen, wir möchten dies mithilfe der Monte-Carlo-Simulation approximieren. EYEX|Y[f(X,Y)]≈1RS∑r=1R∑s=1Sf(xr,s,yr)EYEX|Y[f(X,Y)]≈1RS∑r=1R∑s=1Sf(xr,s,yr)E_YE_{X|Y}[f(X,Y)] \approx...
Ich trainiere ein einfaches Faltungs-Neuronales Netzwerk für die Regression, wobei die Aufgabe darin besteht, die (x, y) Position einer Box in einem Bild vorherzusagen, z. Die Ausgabe des Netzwerks hat zwei Knoten, einen für x und einen für y. Der Rest des Netzwerks ist ein
Angenommen, wir machen ein Spielzeugbeispiel für einen anständigen Gradienten, bei dem eine quadratische Funktion unter Verwendung der festen Schrittgröße minimiert wird . ( )α = 0,03xT.A xxT.EINxx^TAxα = 0,03α=0,03\alpha=0.03A = [ 10 , 2 ; 2 , 3 ]EIN=[10,2;;2,3]]A=[10, 2; 2, 3] Wenn wir die Spur...
Ich möchte etwas in R tun, das SAS mit SASs gemischten Prozessen tun kann (es gibt eine Möglichkeit, dies in STATA gut zu tun), nämlich das sogenannte bivariate Modell von Reitsma et al. (2005) anzupassen. Dieses Modell ist ein spezielles gemischtes Modell, bei dem die Varianz von der Studie...
Ich habe gerade angefangen, das Autoencoder- Paket in R zu verwenden. Eingaben in die autoencode()Funktion umfassen Lambda, Beta, Rho und Epsilon. Was sind die Grenzen für diese Werte? Variieren sie für jede Aktivierungsfunktion? Werden diese Parameter "Hyperparameter" genannt? Ist rho = .01 unter...
Ich bin wirklich verwirrt über die Verwendung von Solver bei der Computeroptimierung. Ich habe mich einen Monat lang umgesehen, um zu sehen, ob ich ein gutes Gefühl dafür bekommen kann, was dieser Begriff bedeutet, aber ich habe immer noch kein gutes Verständnis dafür. Es scheint, dass ich, wenn...
Ich arbeite an Computer Vision und muss eine Zielfunktion optimieren, die Matrix beinhaltet XXX und Matrix XXX ist eine orthogonale Matrix. maximize f(X)maximize f(X)maximize \ \ f(X) s.t XTX=Is.t XTX=I s.t \ \ X^T X=I Wo IIIist die Einheitsmatrix. Ich lese gerade eine Zeitung und sie...