Mittlere durchschnittliche Präzision gegen mittleren wechselseitigen Rang

Ich versuche zu verstehen, wann es angemessen ist, den MAP zu verwenden und wann MRR verwendet werden sollte. Ich fand diese Präsentation, die besagt, dass MRR am besten verwendet wird, wenn die Anzahl der relevanten Ergebnisse weniger als 5 beträgt, und am besten, wenn sie 1 beträgt. In anderen Fällen ist MAP angemessen. Ich habe zwei Fragen:

• Ich verstehe nicht wirklich, warum das so ist.
• Ich kann keine zitierbare Referenz für diese Behauptung finden.

Bitte beachten Sie, dass ich keinen sehr starken statistischen Hintergrund habe, sodass die Erklärung eines Laien sehr hilfreich wäre. Vielen Dank.

Stellen Sie sich vor, Sie haben eine Art Abfrage und Ihr Abrufsystem hat Ihnen eine Rangliste der Top-20-Elemente zurückgegeben, die Ihrer Meinung nach für Ihre Abfrage am relevantesten sind. Stellen Sie sich nun auch vor, dass dies eine Grundwahrheit ist, dass wir in Wahrheit für jeden dieser 20 sagen können, dass "Ja" eine relevante Antwort ist oder "Nein" nicht.

Der mittlere reziproke Rang (MRR) gibt Ihnen in diesen Situationen ein allgemeines Qualitätsmaß, aber die MRR kümmert sich nur um das einzelne relevante Element mit dem höchsten Rang . Wenn Ihr System einen relevanten Artikel an der dritthöchsten Stelle zurückgibt, kümmert sich MRR darum. Es ist egal, ob die anderen relevanten Elemente (vorausgesetzt, es gibt welche) auf Platz 4 oder 20 stehen.

Daher ist MRR geeignet, um ein System zu beurteilen, bei dem entweder (a) nur ein relevantes Ergebnis vorliegt oder (b) Sie sich in Ihrem Anwendungsfall nur wirklich um das am höchsten eingestufte kümmern. Dies kann beispielsweise in einigen Websuchszenarien der Fall sein, in denen der Benutzer nur eine Sache zum Klicken finden möchte, die er nicht mehr benötigt. (Ist das normalerweise der Fall, oder wären Sie mit einer Websuche, die zehn ziemlich gute Antworten liefert, zufriedener, und Sie könnten sich selbst ein Urteil darüber bilden, auf welche dieser Antworten Sie klicken sollen ...?)

Die mittlere durchschnittliche Genauigkeit (MAP) berücksichtigt, ob alle relevanten Elemente tendenziell einen hohen Rang erhalten. Im Top-20-Beispiel ist es also nicht nur wichtig, ob es eine relevante Antwort auf Nummer 3 gibt, sondern auch, ob alle "Ja" -Elemente in dieser Liste nach oben gebündelt sind.

Es ist nicht wirklich erforderlich, MAP zu verwenden, wenn Ihre Daten nur eine relevante Antwort enthalten. MRR wäre in Ordnung. Wenn Sie jedoch eine Anfrage wie "Staatsoberhäupterinnen" einreichen und die drei besten Ergebnisse "Margaret Thatcher", "Vigdís Finnbogadóttir" und "Pratibha Patil" sind, sind dies alles unterschiedliche, aber korrekte Antworten, und wir möchten vielleicht beurteilen Dies ist ein gutes Ergebnis, besser als ein System, das nur eine dieser Antworten nach oben brachte.