Nehmen wir an, wir haben ein Modell mod <- Y ~ X*Condition + (X*Condition|subject) # Y = logit variable # X = continuous variable # Condition = values A and B, dummy coded; the design is repeated # so all participants go through both Conditions # subject = random effects for different subjects...
Meine Hauptfrage betrifft den Versuch zu verstehen, wie die k-fache Kreuzvalidierung in den Kontext von Trainings- / Validierungs- / Testsätzen passt (wenn sie überhaupt in einen solchen Kontext passt). Normalerweise wird davon gesprochen, die Daten in einen Trainings-, Validierungs- und Testsatz...
Wenn Sie derjenige sind, der die Arbeit erledigt, und sich dessen bewusst sind, was Sie tun, entwickeln Sie ein Gefühl dafür, wann Sie das Modell überarbeitet haben. Zum einen können Sie den Trend oder die Verschlechterung im angepassten R-Quadrat des Modells verfolgen. Sie können auch eine...
Ich habe den folgenden Ausdruck schon einmal gehört: "Optimierung ist die Wurzel allen Übels in der Statistik". Die beste Antwort in diesem Thread gibt diese Aussage beispielsweise in Bezug auf die Gefahr einer zu aggressiven Optimierung bei der Modellauswahl wieder. Meine erste Frage lautet...
Ich modelliere 15000 Tweets für die Stimmungsvorhersage unter Verwendung eines einschichtigen LSTM mit 128 verborgenen Einheiten unter Verwendung einer word2vec-ähnlichen Darstellung mit 80 Dimensionen. Nach 1 Epoche erhalte ich eine Abstiegsgenauigkeit (38% bei Zufall = 20%). Mehr Training führt...
Meiner Meinung nach müssen korrelierte Eingabedaten in neuronalen Netzen zu einer Überanpassung führen, da das Netz die Korrelation lernt, z. B. Rauschen in den Daten. Ist das
Es scheint widersprüchliche Ratschläge zu geben, wie mit dem Vergleichen von Zug- und Testfehlern umgegangen werden soll, insbesondere wenn zwischen beiden eine Lücke besteht. Es scheint zwei Denkschulen zu geben, die mir widersprüchlich erscheinen. Ich möchte verstehen, wie man die beiden...
Zunächst einmal: Ich weiß, dass zum Trainieren eines neuronalen Netzwerks keine allgemeine Anzahl von Stichproben erforderlich ist. Es hängt von viel zu vielen Faktoren ab, wie der Komplexität der Aufgabe, dem Rauschen in den Daten und so weiter. Und je mehr Trainingsbeispiele ich habe, desto...
Dies grenzt an eine philosophische Frage, aber ich bin daran interessiert, wie andere mit mehr Erfahrung über die Auswahl von Distributionen denken. In einigen Fällen scheint es klar zu sein, dass die Theorie am besten funktioniert (die Schwanzlängen von Mäusen sind wahrscheinlich normal verteilt)....
In Bishops PRML-Buch sagt er, dass Überanpassung ein Problem bei der Maximum Likelihood Estimation (MLE) ist und Bayesian dies vermeiden kann. Aber ich denke, Überanpassung ist eher ein Problem bei der Modellauswahl als bei der Methode zur Parameterschätzung. Angenommen, ich habe einen Datensatz ,...
Ich habe eine offensichtlich bimodale Werteverteilung, die ich anpassen möchte. Die Daten können entweder mit 2 normalen Funktionen (bimodal) oder mit 3 normalen Funktionen gut angepasst werden. Darüber hinaus gibt es einen plausiblen physikalischen Grund für die Anpassung der Daten an 3. Je mehr...
Ich wollte den genauen Test des Fischers besser verstehen, deshalb habe ich das folgende Spielzeugbeispiel entwickelt, bei dem f und m männlich und weiblich und n und y dem "Sodakonsum" wie folgt entsprechen: > soda_gender f m n 0 5 y 5 0 Dies ist natürlich eine drastische Vereinfachung,...
In diesem Beitrag zu KDnuggets, in dem der Beitrag von John Langford zitiert wird, heißt es, dass Entropie und gegenseitige Information, wenn sie als Fehlermaßnahmen verwendet werden, zu einer Überanpassung führen können. Könnten Sie näher darauf
Ich verstehe, dass wir Regularisierung in einem Regressionsproblem der kleinsten Quadrate als anwenden können w∗=argminw[(y−Xw)T(y−Xw)+λ∥w∥2]w∗=argminw[(y−Xw)T(y−Xw)+λ‖w‖2]\boldsymbol{w}^* = \operatorname*{argmin}_w \left[ (\mathbf y-\mathbf{Xw})^T(\boldsymbol{y}-\mathbf{Xw}) +...
Ich habe Literatur gelesen, die zufällige Wälder nicht überpassen können. Das klingt zwar großartig, scheint aber zu schön, um wahr zu sein. Ist es möglich, dass HF's
Heute erklärte unser Professor in der Klasse, dass "eine Überanpassung mit linearen Klassifikatoren nicht möglich ist". Ich halte das für falsch, da selbst lineare Klassifizierer empfindlich auf Ausreißer im Trainingssatz reagieren können - zum Beispiel eine Support Vector Machine mit hartem Rand:...
Ich versuche zu verstehen, was ein gesättigtes Modell ist. AFAIK ist es, wenn Sie so viele Funktionen wie Beobachtungen haben. Können wir sagen, dass ein gesättigtes Modell ein Sonderfall eines extrem überpasseten Modells ist?
Dies könnte eine grundlegende Frage sein: Was ist der Unterschied zwischen Voreingenommenheit und Unteranpassung? Und was ist analog der Unterschied zwischen Varianz und Überanpassung? Bedeuten die Begriffe jedes Paares dasselbe? Wenn nicht, was ist der
Soweit ich gesehen habe, neigen die Meinungen dazu dazu. Best Practice würde sicherlich die Verwendung einer Kreuzvalidierung vorschreiben (insbesondere beim Vergleich von RFs mit anderen Algorithmen im selben Datensatz). Andererseits gibt die ursprüngliche Quelle an, dass die Tatsache, dass der...
Wo ziehen Sie konzeptionell die Grenze zwischen einem Überanpassungsmodell und einem Modell mit angemessener Anpassung? Es ist klar, dass Sie überanpassen, wenn Ihr Modell auf Ihrem Trainingssatz ein paar Prozent besser abschneidet als auf Ihrem Testsatz. Angenommen, ich habe theoretisch ein...