Météore Score (Metric for Evaluation of Translation with Explicit ORdering) is an métrique d’évaluation primarily used for assessing the quality of machine-generated translations and other tâches de traitement du langage naturel. Developed to address some limitations of existing metrics, such as BLEU, Meteor incorporates both precision and recall, allowing for a more nuanced understanding of translation accuracy.
The Meteor Score operates by comparing the generated text against one or more reference texts. It evaluates the overlap of unigrams (individual words) and considers synonyms and stemming, factors that allow it to account for variations in expression and grammatical structure. This characteristic makes Meteor particularly valuable in scenarios where exact word matching is less relevant than capturing the intended meaning.
Le système de notation varie de 0 à 1, où un score plus élevé indique de meilleures performances. Les scores sont calculés en fonction de trois composantes principales : la précision, le rappel et une pénalité de fragmentation qui pénalise les traductions avec de nombreuses incohérences dans l’ordre des mots. En équilibrant ces facteurs, Meteor vise à fournir une mesure plus complète de la qualité de la traduction.
Alors que le score Meteor est largement utilisé dans traduction automatique evaluation, it can also be applied to various natural language processing tasks, including summarization and sentiment analysis. Its ability to factor in semantic meaning alongside surface-level matching makes it a versatile tool for researchers and developers working with AI language models.