Als «scoring-rules» getaggte Fragen

Dies ist eine allgemeine Frage, die hier indirekt mehrmals gestellt wurde, aber es fehlt eine einzige maßgebliche Antwort. Es wäre großartig, eine ausführliche Antwort auf diese Frage als Referenz zu haben. Die Genauigkeit , der Anteil der korrekten Klassifizierungen an allen Klassifizierungen, ist...

Ich habe in letzter Zeit viel über das "Klassenungleichgewichtsproblem" beim maschinellen / statistischen Lernen nachgedacht und gehe immer tiefer in das Gefühl ein, dass ich einfach nicht verstehe, was los ist. Lassen Sie mich zuerst meine Begriffe definieren (oder versuchen, sie zu definieren):...

Ich überprüfe ein Modell, das versucht, eine Zählung vorherzusagen. Wenn dies ein Problem mit der binären Klassifizierung wäre, würde ich die Out-of-Fold-AUC berechnen, und wenn dies ein Regressionsproblem wäre, würde ich den Out-of-Fold-RMSE oder MAE berechnen. Welche Fehlermetriken kann ich für...

Merkle & Steyvers (2013) schreiben: Um eine korrekte Bewertungsregel formal zu definieren, sei eine probabilistische Vorhersage eines Bernoulli-Versuchs mit echter Erfolgswahrscheinlichkeit . Richtige Bewertungsregeln sind Metriken, deren erwartete Werte minimiert werden, wenn .fffdddpppf=...

Ich habe kürzlich einen Kaggle-Wettbewerb abgeschlossen, bei dem der ROC AUC-Score gemäß den Wettbewerbsanforderungen verwendet wurde. Vor diesem Projekt habe ich normalerweise den Wert f1 als Metrik zur Messung der Modellleistung verwendet. In Zukunft frage ich mich, wie ich zwischen diesen beiden...

In den meisten Ressourcen zu den Regeln für die richtige Bewertung werden verschiedene Bewertungsregeln wie Protokollverlust, Brier-Punktzahl oder sphärische Bewertung erwähnt. Häufig geben sie jedoch keine Orientierungshilfe zu den Unterschieden zwischen ihnen. (Anlage A: Wikipedia .) Die Auswahl...

Erstens gibt er Wahrscheinlichkeit von Ergebnissen. So liegen seine Vorhersagen für die US-Wahlen derzeit bei 82% Clinton gegenüber 18% Trump. Nun, auch wenn Trump gewinnt, woher weiß ich, dass er nicht nur 18% der Zeit hätte gewinnen sollen? Das andere Problem ist, dass sich seine...

Eine korrekte Bewertungsregel ist eine Regel, die durch ein "echtes" Modell maximiert wird und kein "Absichern" oder Spielen des Systems erlaubt (absichtlich unterschiedliche Ergebnisse zu melden, wie es der wahre Glaube des Modells ist, um die Bewertung zu verbessern). Der Brier-Score ist korrekt,...

Ich habe vor kurzem über die richtigen Bewertungsregeln für Wahrscheinlichkeitsklassifikatoren gelernt. In mehreren Beiträgen auf dieser Website wurde betont, dass Genauigkeit eine falsche Bewertungsregel ist und nicht zur Bewertung der Qualität von Vorhersagen verwendet werden sollte, die von...

Hintergrund: Hier gibt es einige gute Fragen und Antworten zur Kalibrierung von Modellen, die die Wahrscheinlichkeiten eines eintretenden Ergebnisses vorhersagen. Beispielsweise Brier-Score und seine Zerlegung in Auflösung, Unsicherheit und Zuverlässigkeit . Kalibrierungsdiagramme und isotonische...

Die gestrige Frage, die Genauigkeit des Modells zu bestimmen, die die Wahrscheinlichkeit eines Ereignisses schätzt, hat mich neugierig auf die Wahrscheinlichkeitsbewertung gemacht. Der Brier-Score ist ein mittleres quadratisches Fehlermaß. Bedeutet das analoge mittlere absolute...

Ich modelliere ein Ereignis mit zwei Ergebnissen, a und b. Ich habe ein Modell erstellt, das die Wahrscheinlichkeit abschätzt, dass entweder a oder b eintreten wird (dh das Modell berechnet, dass a mit einer Wahrscheinlichkeit von 40% und b mit einer Wahrscheinlichkeit von 60% eintreten wird). Ich...

Ich führe eine Analyse der Wahrscheinlichkeit eines Kreditausfalls unter Verwendung logistischer Regression und zufälliger Wälder durch. Wenn ich logistische Regression verwende, ist die Vorhersage immer '1' (was ein gutes Darlehen bedeutet). Ich habe das noch nie gesehen und weiß nicht, wo ich...

Ich programmiere und mache testgetriebene Entwicklung. Nachdem ich meinen Code geändert habe, führe ich meine Tests aus. Manchmal sind sie erfolgreich und manchmal scheitern sie. Bevor ich einen Test durchführe, schreibe ich eine Zahl von 0,01 bis 0,99 auf, um sicherzugehen, dass der Test...

Beispiele: Ich habe einen Satz in der Stellenbeschreibung: "Java Senior Engineer in UK". Ich möchte ein Deep-Learning-Modell verwenden, um es als zwei Kategorien vorherzusagen: English und IT jobs. Wenn ich ein traditionelles Klassifizierungsmodell verwende, kann es nur 1 Etikett mit...

Ein typischer Ansatz zur Lösung eines Klassifizierungsproblems besteht darin, eine Klasse von Kandidatenmodellen zu identifizieren und dann die Modellauswahl unter Verwendung eines Verfahrens wie einer Kreuzvalidierung durchzuführen. Üblicherweise wählt man das Modell mit der höchsten Genauigkeit...

Nächste Woche werde ich meinen Schülern die Score-Funktion und ihre Varianz beibringen (dh: Informationen für Fischer ). Ich suche nach Möglichkeiten, diese Konzepte zu veranschaulichen, um meinen Schülern zu helfen, sie zu verstehen (und sie nicht nur für verschiedene Verteilungen zu berechnen,...

Angenommen, ich mache eine Reihe von Wahrscheinlichkeitsprognosen wie: 70% Wahrscheinlichkeit, dass das Umsatzwachstum im ersten Quartal 10-15% beträgt, 10% Wahrscheinlichkeit, dass das Umsatzwachstum> 15% beträgt, 20% Wahrscheinlichkeit, dass das Umsatzwachstum <10% beträgt Was ist...

Eine Bewertungsregel ist ein Mittel zur Bewertung der Einschätzung eines Agenten hinsichtlich der mit einem kategorialen Ereignis verbundenen Wahrscheinlichkeiten bei einem (kategorialen) Ergebnis des Ereignisses. Abhängig von der Vermutung und dem beobachteten Ergebnis gibt die Bewertungsregel dem...

Ich verwende die logistische Regression, um die Wahrscheinlichkeit des Eintretens eines Ereignisses vorherzusagen. Letztendlich werden diese Wahrscheinlichkeiten in eine Produktionsumgebung gestellt, in der wir uns so weit wie möglich darauf konzentrieren, unsere "Ja" -Vorhersagen zu treffen. Es...