ANOVA gegen multiple lineare Regression? Ich verstehe, dass diese beiden Methoden anscheinend dasselbe statistische Modell verwenden. Unter welchen Umständen sollte ich jedoch welche Methode anwenden? Was sind die Vor- und Nachteile dieser Methoden im Vergleich? Warum wird ANOVA in...
Wenn die beste lineare Approximation (unter Verwendung der kleinsten Quadrate) meiner Datenpunkte die Linie , wie kann ich den Approximationsfehler berechnen? Wenn ich die Standardabweichung der Differenzen zwischen Beobachtungen und Vorhersagen , kann ich später sagen, dass ein realer (aber nicht...
Die Frage ist sehr einfach: Warum versuchen wir beim Anpassen eines Modells an unsere linearen oder nichtlinearen Daten normalerweise, die Summe der Fehlerquadrate zu minimieren, um unseren Schätzer für den Modellparameter zu erhalten? Warum nicht eine andere Zielfunktion zum Minimieren wählen? Ich...
Wenn wir mehrere Regressionen durchführen und sagen, dass wir die durchschnittliche Änderung in der Variablen auf eine Änderung in einer Variablen untersuchen und alle anderen Variablen konstant halten, bei welchen Werten halten wir die anderen Variablen konstant? Ihr gemeiner? Null? Irgendein...
Abgesehen von einigen besonderen Umständen, in denen wir die bedingte mittlere Beziehung unbedingt verstehen müssen, in welchen Situationen sollte ein Forscher OLS anstelle von Quantile Regression wählen? Ich möchte nicht, dass die Antwort "wenn es keinen Sinn macht, die Schwanzbeziehungen zu...
Auf Seite 204, Kapitel 4 von "Mustererkennung und maschinelles Lernen" von Bishop ist ein Bild zu sehen, in dem ich nicht verstehe, warum die Least-Square-Lösung hier schlechte Ergebnisse liefert: Der vorherige Absatz befasste sich mit der Tatsache, dass Lösungen mit den kleinsten Quadraten keine...
Betrachten Sie die Ridge-Regression mit einer zusätzlichen Einschränkung, die voraussetzt, dass eine Einheitssumme von Quadraten hat (entsprechend eine Einheitsvarianz). Bei Bedarf kann man davon ausgehen, dass eine Einheitssumme von Quadraten hat:y^y^\hat{\mathbf y}yy\mathbf
Ich weiß, wie man PCA und SVD mathematisch berechnet, und ich weiß, dass beide auf die lineare Regression der kleinsten Quadrate angewendet werden können. Der Hauptvorteil von SVD scheint mathematisch zu sein, dass es auf nicht quadratische Matrizen angewendet werden kann. Beide konzentrieren sich...
Kürzlich habe ich festgestellt, dass es in der angewandten ökonometrischen Literatur nicht ungewöhnlich ist, LASSO durchzuführen, gefolgt von einer OLS-Regression unter Verwendung der ausgewählten Variablen. Ich habe mich gefragt, wie wir die Gültigkeit eines solchen Verfahrens beurteilen können....
Ich beginne mit meiner OLS-Regression: wobei D eine Dummy-Variable ist und die Schätzungen sich von Null mit einem niedrigen p-Wert unterscheiden. Ich führe dann einen Ramsey-RESET-Test durch und stelle fest, dass ich eine falsche Schreibweise der Gleichung habe. Ich beziehe also das Quadrat x...
Ich habe diese Aussage auf einer alten True / False-Prüfung gelesen: Wir können mehrere lokale optimale Lösungen erhalten, wenn wir ein lineares Regressionsproblem lösen, indem wir die Summe der Fehlerquadrate mithilfe des Gradientenabfalls minimieren. Lösung: Falsch Meine Frage ist, welcher Teil...
Wenn vollen Rang hat, existiert die Umkehrung von und wir erhalten die Schätzung der kleinsten Quadrate: undXXXXTXXTXX^TXβ^=(XTX)−1XYβ^=(XTX)−1XY\hat\beta = (X^TX)^{-1}XYVar(β^)=σ2(XTX)−1Var(β^)=σ2(XTX)−1\operatorname{Var}(\hat\beta) = \sigma^2(X^TX)^{-1} Wie können wir in der Varianzformel...
Ich versuche, eine Regression zu erstellen, um die Anzahl der Morde in jedem Bezirk einer Stadt zu erklären. Obwohl ich weiß, dass meine Daten einer Poisson-Verteilung entsprechen, habe ich versucht, eine OLS wie diese anzupassen: log(y+1)=α+βX+ϵlog(y+1)=α+βX+ϵlog(y+1) = \alpha + \beta X + \epsilon...
Aus einer Einführung in das statistische Lernen von James et al. Geht hervor, dass die LOOCV-Schätzung (Leave-One-Out-Cross-Validation) durch wobei .CV(n)=1n∑i=1nMSEiCV(n)=1n∑i=1nMSEi\text{CV}_{(n)} = \dfrac{1}{n}\sum\limits_{i=1}^{n}\text{MSE}_iMSEi=(yi−y^i)2MSEi=(yi−y^i)2\text{MSE}_i =...
Der Eindruck, den ich aufgrund mehrerer Veröffentlichungen, Bücher und Artikel gewonnen habe, ist, dass die empfohlene Methode zum Anpassen einer Wahrscheinlichkeitsverteilung an einen Datensatz die Verwendung der Maximum Likelihood Estimation (MLE) ist. Als Physiker ist es jedoch intuitiver, das...
Ich habe eine Frage zu ausgelassenen variablen Verzerrungen in der logistischen und linearen Regression. Angenommen, ich lasse einige Variablen aus einem linearen Regressionsmodell weg. Stellen Sie sich vor, dass diese ausgelassenen Variablen nicht mit den in meinem Modell enthaltenen Variablen...
Ich habe mich gefragt, ob es eine Beziehung zwischen und einem F-Test gibt.R2R2R^2 Normalerweise ist und misst die Stärke von lineare Beziehung in der Regression.R2= ∑ ( Y^t- Y¯)2/ T- 1∑ ( Yt- Y¯)2/ T- 1R2=∑(Y.^t-Y.¯)2/T-1∑(Y.t-Y.¯)2/T-1R^2=\frac {\sum (\hat Y_t - \bar Y)^2 / T-1} {\sum( Y_t -...
Ich habe diese Liste hier gesehen und konnte nicht glauben, dass es so viele Möglichkeiten gibt, die kleinsten Quadrate zu lösen. Die "normalen Gleichungen" in Wikipedia schienen ein recht einfacher Weg zu sein: α^β^= y¯- β^x¯,= ∑nich= 1( xich- x¯) ( yich- y¯)∑ni = 1( xich-...
Dieser Wikipedia- Link listet eine Reihe von Techniken auf, um die Heteroskedastizität von OLS-Resten zu erkennen. Ich möchte erfahren, welche praktische Technik bei der Erkennung von Regionen, die von Heteroskedastizität betroffen sind, effizienter ist. Zum Beispiel hat hier die zentrale Region...
Betrachten wir ein Standard OLS Regressionsproblem : Ich habe Matrizen und und ich möchte \ B finden, um L = \ | \ Y- \ X \ B \ | ^ 2 zu minimieren . Die Lösung ist gegeben durch \ hat \ B = \ argmin_ \ B \ {L \} = (\ X ^ \ top \ X) ^ + \ X ^ \ top \ Y.\newcommand{\Y}{\mathbf