Mean Reciprocal Rank (MRR) is a statistical measure used primarily in the fields of dem Informationsretrieval and der Verarbeitung natürlicher Sprache to evaluate the performance of systems that return a list of ranked results. It specifically assesses how well a search algorithm or Empfehlungssystem bewertet relevante Elemente als Antwort auf eine Anfrage.
Der MRR wird berechnet, indem der Kehrwert des Rangs genommen wird, an dem das erste relevante Ergebnis für jede Anfrage erscheint, und diese Werte über alle Anfragen gemittelt werden. Die Formel für den MRR lautet:
MRR = (1/Q) * Σ (1/rank_i)
wobei:
- Q ist die Gesamtzahl der Anfragen,
- rank_i ist die Position des ersten relevanten Ergebnisses für die i-te Anfrage.
Zum Beispiel, wenn bei drei Anfragen die ersten relevanten Ergebnisse bei den Rängen 1, 2 und 3 gefunden werden, würde der MRR wie folgt berechnet:
MRR = (1/3) * (1/1 + 1/2 + 1/3) = (1/3) * (1 + 0.5 + 0.333) = 0.611
MRR ist besonders nützlich in Anwendungen wie Suchmaschinen, question-answering systems, and recommendation engines, where it is crucial to present the most relevant results to users as quickly as possible. A higher MRR indicates better performance, as it signifies that relevant results appear earlier in the ranked list.