Worauf bezieht sich der Begriff "partiell" in der Regression der kleinsten Quadrate (PLSR) oder in der Strukturgleichungsmodellierung der kleinsten Quadrate
Sind reduzierte Rangregression und Hauptkomponentenregression nur Sonderfälle von partiellen kleinsten Quadraten? In diesem Lernprogramm (Seite 6, "Objektivvergleich") wird angegeben, dass bei Teilquadraten ohne X- oder Y-Projektion (dh "nicht partiell") die Rang- oder Hauptkomponentenregression...
Betrachten wir ein Standard OLS Regressionsproblem : Ich habe Matrizen und und ich möchte \ B finden, um L = \ | \ Y- \ X \ B \ | ^ 2 zu minimieren . Die Lösung ist gegeben durch \ hat \ B = \ argmin_ \ B \ {L \} = (\ X ^ \ top \ X) ^ + \ X ^ \ top \ Y.\newcommand{\Y}{\mathbf
Ich habe iterativ die kleinsten Quadrate (IRLS) neu gewichtet, um Funktionen der folgenden Form zu minimieren: J(m)=∑Ni=1ρ(|xi−m|)J(m)=∑i=1Nρ(|xi−m|)J(m) = \sum_{i=1}^{N} \rho \left(\left| x_i - m \right|\right) Dabei ist die Anzahl der Instanzen von , die robuste Schätzung, die ich möchte, und...
Dieser Wikipedia- Link listet eine Reihe von Techniken auf, um die Heteroskedastizität von OLS-Resten zu erkennen. Ich möchte erfahren, welche praktische Technik bei der Erkennung von Regionen, die von Heteroskedastizität betroffen sind, effizienter ist. Zum Beispiel hat hier die zentrale Region...
Für ein lineares Modell bietet die OLS-Lösung den besten linearen unverzerrten Schätzer für die Parameter. Natürlich können wir eine Tendenz für eine geringere Varianz eintauschen, z. B. eine Kammregression. Aber meine Frage bezieht sich darauf, keine Vorurteile zu haben. Gibt es andere Schätzer,...
Ich soll den Satz von Frish Waugh in Ökonometrie unterrichten, den ich nicht studiert habe. Ich habe die Mathematik dahinter verstanden und hoffe auch, dass "der Koeffizient, den Sie für einen bestimmten Koeffizienten aus einem multiplen linearen Modell erhalten, dem Koeffizienten des einfachen...
Heute habe ich mit einem kleinen Datensatz herumgespielt und eine einfache OLS-Regression durchgeführt, von der ich erwartet hatte , dass sie aufgrund perfekter Multikollinearität fehlschlägt. Das tat es jedoch nicht. Dies impliziert, dass mein Verständnis von Multikollinearität falsch ist. Meine...
Ich versuche herauszufinden , ob Ridge Regression , LASSO , Principal Component Regression (PCR) oder Partial Least Squares (PLS) in einer Situation mit einer großen Anzahl von Variablen / Merkmalen ( ) und einer geringeren Anzahl von Stichproben ( ), und mein Ziel ist die
Anmerkung: SSTSSTSST = Summe der Quadrate insgesamt, SSESSESSE = Summe der quadrierten Fehler und SSRSSRSSR = Regressionssumme der Quadrate. Die Gleichung im Titel wird oft geschrieben als: ∑i=1n(yi−y¯)2=∑i=1n(yi−y^i)2+∑i=1n(y^i−y¯)2∑i=1n(yi−y¯)2=∑i=1n(yi−y^i)2+∑i=1n(y^i−y¯)2\sum_{i=1}^n (y_i-\bar...
Kann mir jemand kurz erklären, warum jede der sechs Annahmen benötigt wird, um den OLS-Schätzer zu berechnen? Ich habe nur über Multikollinearität herausgefunden - wenn es existiert, können wir die (X'X) -Matrix nicht invertieren und wiederum den Gesamtschätzer schätzen. Was ist mit den anderen (z....
Nehmen wir an, wir haben X (2, 5) und Y (2,) Das funktioniert: np.linalg.lstsq(X, y) Wir erwarten, dass dies nur dann funktioniert, wenn X die Form (N, 5) hat, wobei N> = 5 ist. Aber warum und wie? Wir bekommen wie erwartet 5 Gewichte zurück, aber wie wird dieses Problem gelöst? Ist es...
Ich halte einen Vortrag über das Anpassen von Linien. Ich habe eine einfache lineare Funktion, y=1x+by=1x+by=1x+b . Ich versuche, verstreute Datenpunkte zu erhalten, die ich in ein Streudiagramm einfügen kann, damit meine Best-Fit-Linie der gleichen Gleichung entspricht. Ich würde diese Technik...
Warum versuchen wir zu minimieren x^2anstatt zu minimieren |x|^1.95oder |x|^2.05. Gibt es Gründe, warum die Zahl genau zwei sein sollte, oder ist es einfach eine Konvention, die den Vorteil hat, die Mathematik zu
Wenn in Standard-OLS-Regressionen zwei Annahmen verletzt werden (Normalverteilung von Fehlern, Homoskedastizität), sind Bootstrapping-Standardfehler und Konfidenzintervalle eine geeignete Alternative, um zu aussagekräftigen Ergebnissen hinsichtlich der Signifikanz von Regressorkoeffizienten zu...
Hier ist mein Kontext für diese Frage: Soweit ich weiß, können wir keine gewöhnliche Regression der kleinsten Quadrate in R ausführen, wenn wir gewichtete Daten und das surveyPaket verwenden. Hier müssen wir verwenden svyglm(), die stattdessen ein verallgemeinertes lineares Modell ausführt (was das...
Ich weiß, wie man eine lineare Regression auf einer Menge von Punkten durchführt. Das heißt, ich kann ein Polynom meiner Wahl an einen gegebenen Datensatz anpassen (im LSE-Sinne). Was ich jedoch nicht weiß, ist, wie ich meine Lösung zwingen kann, bestimmte Punkte meiner Wahl durchzugehen. Ich habe...
In Bishops Buch über maschinelles Lernen wird das Problem der Kurvenanpassung einer Polynomfunktion an eine Reihe von Datenpunkten erörtert. Sei M die Ordnung des angepassten Polynoms. Es heißt so Wir sehen, dass mit zunehmendem M die Größe der Koeffizienten typischerweise größer wird. Insbesondere...
Diese Frage ist inspiriert von der langen Diskussion in den Kommentaren hier: Wie verwendet die lineare Regression die Normalverteilung? In dem üblichen linearen Regressionsmodell wird hier der Einfachheit halber mit nur einem Prädiktor geschrieben: wobei bekannte Konstanten sind und unabhängige...
Die lm-Funktion in R kann die geschätzte Kovarianz von Regressionskoeffizienten ausgeben. Was geben uns diese Informationen? Können wir das Modell jetzt besser interpretieren oder Probleme diagnostizieren, die im Modell vorhanden sein