Dies ist der F-Beta-Score:
Der Wikipedia-Artikel besagt, dass . "measures the effectiveness of retrieval with respect to a user who attaches β times as much importance to recall as precision"
Ich habe die Idee nicht bekommen. Warum so definieren ? Kann ich definieren :F β
Und wie soll man zeigen β times as much importance
?
machine-learning
precision-recall
model-evaluation
aufgeräumt
quelle
quelle
Antworten:
Wenn das Gewicht in der ersten von Ihnen angegebenen Definition und das Gewicht in der zweiten Definition ist, sind die beiden Definitionen äquivalent, wenn Sie festlegen , sodass diese beiden Definitionen nur Unterschiede in der Schreibweise darstellen die Definition des Scores. Ich habe gesehen, dass es sowohl den ersten Weg (z. B. auf der Wikipedia-Seite ) als auch den zweiten (z . B. hier ) definiert hat.˜ β ˜ β = β 2 F ββ β~ β~=β2 Fβ
Das Maß wird erhalten, indem das harmonische Mittel der Präzision und des Rückrufs genommen wird, nämlich der Kehrwert des Durchschnitts des Kehrwerts der Präzision und des Kehrwerts des Rückrufs:F1
Anstatt Gewichte im Nenner zu verwenden, die gleich sind und sich zu 1 summieren ( für den Rückruf und für die Genauigkeit), können wir stattdessen Gewichte zuweisen, die sich immer noch zu 1 summieren, aber für Das Gewicht beim Rückruf ist mal so groß wie das Gewicht bei der Genauigkeit ( für den Rückruf und für die Genauigkeit). Dies ergibt Ihre zweite Definition des Scores: 112 ββ12 β 1ββ+1 Fβ1β+1 Fβ
Wenn wir hier anstelle von , wären wir zu Ihrer ersten Definition gelangt, sodass die Unterschiede zwischen den beiden Definitionen nur eine Schreibweise sind. ββ2 β
quelle
Der Grund für die Definition des F-Beta-Scores mit ist genau das von Ihnen angegebene Zitat (dh Sie möchten Zeiten so wichtig wie die Genauigkeit beim Abrufen anhängen ), wenn Sie eine bestimmte Definition für das Anhängen von angeben mal so wichtig wie Präzision.β2 β β
Die besondere Art und Weise, die relative Bedeutung der beiden Metriken zu definieren, die zur -Formulierung führt, findet sich in Information Retrieval (Van Rijsbergen, 1979):β2
Die Motivation für dieses Wesen:
Um zu sehen, dass dies zur -Formulierung führt, können wir mit der allgemeinen Formel für das gewichtete harmonische Mittel von und und ihre partiellen Ableitungen in Bezug auf und berechnen . Die zitierte Quelle verwendet (für "Effektivitätsmaß"), das nur und die Erklärung ist äquivalent, ob wir oder .β2 P R P R E 1−F E F
Wenn Sie nun die Ableitungen gleich setzen, wird die Beziehung zwischen und dem Verhältnis . Angesichts der Tatsache, dass wir Zeiten so wichtig wie die Genauigkeit der Erinnerung beimessen möchten, werden wir das Verhältnis 1 berücksichtigen :α P/R β R/P
Wenn Sie als dieses Verhältnis definieren und für neu anordnen, erhalten Sie die Gewichtung in Bezug auf :β α β2
Wir erhalten:
Welches kann neu angeordnet werden, um das Formular in Ihrer Frage zu geben.
In Anbetracht der zitierten Definition sollte daher die Formulierung verwendet werden , wenn Sie Zeiten so viel Bedeutung beim Abrufen wie Präzision beimessen möchten . Diese Interpretation gilt nicht, wenn man . Die äquivalente, weniger intuitive Interpretation für den Fall, dass wir nur wäre, dass wir mal so viel Bedeutung beim Abrufen wie Präzision beimessen möchten .β β2 β β β−−√
Sie können eine Punktzahl definieren, wie Sie vorschlagen. Sie sollten sich jedoch bewusst sein, dass in diesem Fall entweder die besprochene Interpretation nicht mehr gilt oder Sie eine andere Definition für die Quantifizierung des Kompromisses zwischen Präzision und Rückruf implizieren.
Fußnoten:
Verweise:
quelle
Um schnell auf etwas hinzuweisen.
Ich denke tatsächlich, dass es das Gegenteil ist - da höher in der F-β-Wertung besser ist, möchten Sie, dass der Nenner klein ist. Wenn Sie daher β verringern, wird das Modell weniger für eine gute Genauigkeit bestraft. Wenn Sie β erhöhen, wird der F-β-Score bei hoher Präzision stärker bestraft.
Wenn Sie die F-β-Bewertung so gewichten möchten, dass sie die Genauigkeit bewertet, sollte β 0 <β <1 sein, wobei β-> 0 nur die Genauigkeit bewertet (der Zähler wird sehr klein, und das einzige, was im Nenner steht, ist das Abrufen). daher nimmt der F-β-Wert mit zunehmendem Rückruf ab).
http://scikit-learn.org/stable/modules/generated/sklearn.metrics.fbeta_score.html
quelle
Der Grund, warum β ^ 2 mit Präzision multipliziert wird, ist genau die Art und Weise, wie F-Scores definiert werden. Dies bedeutet, dass Sie mit zunehmendem Beta-Wert mehr Wert auf Präzision legen. Wenn Sie es mit einem Rückruf multiplizieren möchten, der auch funktionieren würde, würde dies nur bedeuten, dass Sie mit zunehmendem Beta-Wert mehr Wert auf Rückruf legen.
quelle
Der Beta-Wert größer als 1 bedeutet, dass unser Modell dem Modellrückruf im Vergleich zu Precision mehr Aufmerksamkeit schenken soll. Andererseits legt ein Wert von weniger als 1 mehr Wert auf Präzision.
quelle