Ich möchte ein Regressionsmodell erstellen, bei dem es sich um einen Durchschnitt mehrerer OLS-Modelle handelt, die jeweils auf einer Teilmenge der vollständigen Daten basieren. Die Idee dahinter basiert auf diesem Papier . Ich erstelle k Falten und erstelle k OLS-Modelle, die jeweils auf Daten...
Ich habe versucht, den Gradienten zu verstehen, der das Lesen verschiedener Blogs und Websites fördert, und versucht, meine Antwort zu finden, indem ich zum Beispiel den XGBoost-Quellcode durchgesehen habe. Ich kann jedoch keine verständliche Erklärung dafür finden, wie Algorithmen zur Erhöhung des...
Vor kurzem habe ich mich für das Modellstapeln als eine Form des Ensemble-Lernens interessiert. Insbesondere habe ich ein wenig mit einigen Spielzeugdatensätzen für Regressionsprobleme experimentiert. Grundsätzlich habe ich einzelne "Level 0" -Regressoren implementiert, die Ausgabevorhersagen jedes...
Baumbasierte Ensemble-Methoden wie Random Forest und nachfolgende Ableitungen (z. B. bedingter Wald) sollen bei sogenannten "kleinen n , großen p " -Problemen nützlich sein , um die relative variable Bedeutung zu identifizieren. Dies scheint zwar der Fall zu sein, aber meine Frage ist, wie weit...
Angenommen, ich habe eine Stichprobe von Häufigkeiten von 4 möglichen Ereignissen: Event1 - 5 E2 - 1 E3 - 0 E4 - 12 und ich habe die erwarteten Wahrscheinlichkeiten, dass meine Ereignisse eintreten: p1 - 0.2 p2 - 0.1 p3 - 0.1 p4 - 0.6 Mit der Summe der beobachteten Häufigkeiten meiner vier...
Ich versuche, die Random Forest-Regression zu verwenden. Ich habe eine Antwortvariable: y = rnorm(10000, mean=0, sd=3) Und ein paar Prädiktorvariablen (die nur die Antwort mit zusätzlichem Rauschen sind): x = data.frame(v1=y + rnorm(10000, mean=0, sd=3), v2=y + rnorm(10000, mean=0, sd=3), v3=y +...
Ich lese praktisches maschinelles Lernen mit Scikit-Learn und TensorFlow: Konzepte, Tools und Techniken zum Aufbau intelligenter Systeme . Dann bin ich nicht in der Lage, den Unterschied zwischen hartem und weichem Voting im Zusammenhang mit ensemblebasierten Methoden herauszufinden. Ich zitiere...
Boosting-Algorithmen wie AdaBoost kombinieren mehrere "schwache" Klassifikatoren zu einem einzigen stärkeren Klassifikator. Obwohl theoretisch ein Boosting mit jedem Basisklassifikator möglich sein sollte, scheinen in der Praxis baumbasierte Klassifikatoren am häufigsten zu sein. Warum ist das?...
Angenommen, ich habe drei Datensätze der Größe :nnn y1y1y_1 = Größe von Menschen nur aus den USA y2y2y_2 = Körpergröße von Männern aus der ganzen Welt y3y3y_3 = von Frauen aus der ganzen Welt Und ich baue für jedes ein lineares Modell mit den Faktoren , :xixix_ii=1,...,ki=1,...,ki = 1,...,...
Wie verschmilzt ein Ensemble-Klassifikator die Vorhersagen seiner konstituierenden Klassifikatoren? Ich habe Schwierigkeiten, eine klare Beschreibung zu finden. In einigen Codebeispielen, die ich gefunden habe, mittelt das Ensemble nur die Vorhersagen, aber ich sehe nicht, wie dies zu einer...
Können wir alle Ensemblemethoden durch Abstimmung verallgemeinern? Verwenden Boosting-Methoden auch Abstimmungen, um die schwachen Lernenden in das endgültige Modell zu bringen? Mein Verständnis der Technik: Boosting: Fügt kontinuierlich schwache Lernende hinzu, um die Datenpunkte zu verbessern,...
In allen (Regressions-) zufälligen Waldpapieren, die ich gelesen habe, nehmen wir, wenn es an der Zeit ist, die Vorhersagen aller Bäume zu sammeln, den Durchschnittswert als Vorhersage. Meine Frage ist, warum wir das tun? Gibt es eine statistische Begründung für die Ermittlung des...
Mein Problem ist folgendes: Ich habe ein Ensemble von Prädiktoren, die jeweils eine Verteilung über eine Reihe von Klassen erzeugen. Was ich tun möchte, ist, zuerst einen nicht informativen Vorgänger darüber zu haben, wie diese Etikettenverteilung aussieht, und diesen dann vorab mit der Vorhersage...
Ich versuche, eine Matrixfaktorisierungstechnik für ein einfaches Bewertungsempfehlungssystem für Benutzerelemente zu entwerfen. Ich habe 2 Fragen dazu. Zuerst in einer einfachen Implementierung, die ich von der Matrixfaktorisierungstechnik für die Filmempfehlung gesehen habe, hat der Autor gerade...