Unter welchen Umständen sollte man die Verwendung von Regularisierungsmethoden (Ridge, Lasso oder Least Angles Regression) anstelle von OLS in Betracht ziehen? Falls dies hilft, die Diskussion zu steuern, ist mein Hauptinteresse die Verbesserung der
Bezieht sich auf eine allgemeine Schätztechnik, bei der der Parameterwert ausgewählt wird, um die quadratische Differenz zwischen zwei Größen zu minimieren, z. B. der beobachtete Wert einer Variablen und der erwartete Wert dieser Beobachtung, abhängig vom Parameterwert. Gaußsche lineare Modelle werden durch kleinste Quadrate angepasst, und kleinste Quadrate sind die Idee, die der Verwendung des mittleren quadratischen Fehlers (MSE) als Methode zur Bewertung eines Schätzers zugrunde liegt.
Unter welchen Umständen sollte man die Verwendung von Regularisierungsmethoden (Ridge, Lasso oder Least Angles Regression) anstelle von OLS in Betracht ziehen? Falls dies hilft, die Diskussion zu steuern, ist mein Hauptinteresse die Verbesserung der
Für eine Simulationsstudie muss ich Zufallsvariablen generieren, die eine vorab festgelegte (Populations-) Korrelation zu einer vorhandenen Variablen .Y.YY Ich sah in die RPakete copulaund CDVineder Zufall multivariate Verteilungen mit einer bestimmten Abhängigkeitsstruktur erzeugen kann. Es ist...
Ich verstehe, dass die Grat-Regressionsschätzung das , das die Restsumme des Quadrats und eine Strafe für die Größe von β minimiertββ\betaββ\beta βridge=(λID+X′X)−1X′y=argmin[RSS+λ∥β∥22]βridge=(λID+X′X)−1X′y=argmin[RSS+λ‖β‖22]\beta_\mathrm{ridge} = (\lambda I_D + X'X)^{-1}X'y =...
Warum Root Mean Squared Error (RMSE) anstelle von Mean Absolute Error (MAE) verwenden? Hallo Ich habe den in einer Berechnung generierten Fehler untersucht. Anfangs habe ich den Fehler als Root Mean Normalized Squared Error berechnet. Wenn ich etwas genauer hinschaue, sehe ich, dass das Quadrieren...
Scheinbar seriöse Quellen behaupten, dass die abhängige Variable normal verteilt sein muss: Modellannahmen: ist normalverteilt, Fehler sind normalverteilt, und unabhängig, und ist fest und konstante Varianz .YYYei∼N(0,σ2)ei∼N(0,σ2)e_i \sim N(0,\sigma^2)XXXσ2σ2\sigma^2 Penn State, STAT 504...
Auf dieser Site befinden sich mehrere Threads, in denen erläutert wird, wie ermittelt werden kann, ob die OLS-Residuen asymptotisch normal verteilt sind. Eine weitere Möglichkeit, die Normalität der Residuen mit R-Code zu bewerten, bietet diese hervorragende Antwort . Dies ist eine weitere...
Normalerweise höre ich von "gewöhnlichen kleinsten Quadraten". Ist das der am häufigsten verwendete Algorithmus für die lineare Regression? Gibt es Gründe, einen anderen zu
Was ist der Hauptunterschied zwischen der Schätzung der maximalen Wahrscheinlichkeit (MLE) und der Schätzung der kleinsten Quadrate (LSE)? Warum können wir MLE nicht zur Vorhersage von Werten in der linearen Regression und umgekehrt verwenden?yyy Jede Hilfe zu diesem Thema wird sehr...
Warum ist die De-facto-Standard-Sigmoid-Funktion in (nicht-tiefen) neuronalen Netzwerken und logistischen Regressionen so beliebt?11+e−x11+e−x\frac{1}{1+e^{-x}} Warum verwenden wir nicht viele der anderen ableitbaren Funktionen mit einer schnelleren Rechenzeit oder einem langsameren Zerfall (so...
Ich habe einige Probleme mit der Herleitung der Lösung für die Gratregression. Ich kenne die Regressionslösung ohne den Regularisierungsbegriff: β=(XTX)−1XTy.β=(XTX)−1XTy.\beta = (X^TX)^{-1}X^Ty. λ∥β∥22λ‖β‖22\lambda\|\beta\|_2^2 β=(XTX+λI)−1XTy.β=(XTX+λI)−1XTy.\beta = (X^TX + \lambda...
Wenn wir die lineare Regression durchzuführen passen eine Reihe von Datenpunkten ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x n , y n ) minimiert der klassische Ansatz den quadratischen Fehler. Ich war lange verwirrt von einer Frage, die das Minimieren des quadratischen Fehlers zum selben Ergebnis...
Ich versuche eine OLS-Regression durchzuführen: DV: Gewichtsänderung über ein Jahr (Anfangsgewicht - Endgewicht) IV: Ob Sie trainieren oder nicht. Es erscheint jedoch vernünftig, dass schwerere Menschen mehr Gewicht pro Trainingseinheit verlieren als dünnere. Daher wollte ich eine...
Kann jemand eine gute Darstellung der Theorie der partiellen Regression der kleinsten Quadrate (online verfügbar) für jemanden empfehlen, der SVD und PCA versteht? Ich habe online in vielen Quellen nachgesehen und nichts gefunden, das die richtige Kombination aus Strenge und Zugänglichkeit bietet....
Ich benutze immer lm()in R, um eine lineare Regression von auf durchzuführen . Diese Funktion gibt einen Koeffizienten so dassyyyxxxββ\betay=βx.y=βx.y = \beta x. Heute habe ich etwas über die kleinsten Fehlerquadrate gelernt und diese princomp()Funktion (Hauptkomponentenanalyse, PCA) kann...
Hintergrund Angenommen, wir haben ein gewöhnliches Modell der kleinsten Quadrate, in dem wir kkk Koeffizienten in unserem Regressionsmodell haben, y=Xβ+ϵy=Xβ+ϵ\mathbf{y}=\mathbf{X}\mathbf{\beta} + \mathbf{\epsilon} wobei ββ\mathbf{\beta} ein (k×1)(k×1)(k\times1) Koeffizientenvektor ist, ist...
Ich bin gerade auf diese Arbeit gestoßen , in der beschrieben wird, wie die Wiederholbarkeit (auch bekannt als Zuverlässigkeit, auch bekannt als Intraclass-Korrelation) einer Messung über Mixed-Effects-Modellierung berechnet wird. Der R-Code wäre: #fit the model fit =
Ich möchte , verstehen , warum unter dem OLS - Modell, die RSS (Restsumme der Quadrate) verteilt wird ( die Anzahl der Parameter in dem Modell ist, die Anzahl der Beobachtungen).χ2⋅(n−p)χ2⋅(n−p)\chi^2\cdot (n-p)pppnnn Ich entschuldige mich dafür, dass ich eine so grundlegende Frage gestellt habe,...
Ich bin neu im maschinellen Lernen und versuche es selbst zu lernen. Kürzlich las ich einige Vorlesungsunterlagen durch und hatte eine grundlegende Frage. Folie 13 besagt, dass "Least-Square-Schätzung mit Maximum-Likelihood-Schätzung nach einem Gaußschen Modell identisch ist". Es scheint etwas...
Wie hängen PCA, LDA, CCA und PLS zusammen? Sie scheinen alle "spektral" und linear algebraisch und sehr gut verstanden zu sein (sagen wir 50+ Jahre Theorie, die um sie herum aufgebaut sind). Sie werden für sehr unterschiedliche Zwecke verwendet (PCA zur Dimensionsreduzierung, LDA zur...
Wenn die beste lineare Approximation (unter Verwendung der kleinsten Quadrate) meiner Datenpunkte die Linie , wie kann ich den Approximationsfehler berechnen? Wenn ich die Standardabweichung der Differenzen zwischen Beobachtungen und Vorhersagen , kann ich später sagen, dass ein realer (aber nicht...