Mean Reciprocal Rank (MRR) is a statistical measure used primarily in the fields of recuperação de informações and processamento de linguagem natural to evaluate the performance of systems that return a list of ranked results. It specifically assesses how well a search algorithm or sistema de recomendação classifica itens relevantes em resposta a uma consulta.
O MRR é calculado pegando o recíproco da posição em que o primeiro resultado relevante aparece para cada consulta, fazendo a média desses valores em todas as consultas. A fórmula para o MRR é:
MRR = (1/Q) * Σ (1/rank_i)
onde:
- Q é o número total de consultas,
- rank_i é a posição do primeiro resultado relevante para a i-ésima consulta.
Por exemplo, se para três consultas os primeiros resultados relevantes são encontrados nas posições 1, 2 e 3, o MRR seria calculado como:
MRR = (1/3) * (1/1 + 1/2 + 1/3) = (1/3) * (1 + 0.5 + 0.333) = 0.611
O MRR é particularmente útil em aplicações como motores de busca, question-answering systems, and recommendation engines, where it is crucial to present the most relevant results to users as quickly as possible. A higher MRR indicates better performance, as it signifies that relevant results appear earlier in the ranked list.