CIDEr (Consensus-basierte Bildbeschreibungsbewertung)
CIDEr stands for Consensus-based Bild Description Bewertung. It is a metric specifically designed to assess the quality of captions generated by Computer Vision models for images. Unlike traditional metrics that may focus solely on exact word matches, CIDEr evaluates how well the generated captions align with human-written reference captions in terms of semantic content.
Die CIDEr-Metrik funktioniert, indem sie den Konsens zwischen den generierten Beschreibungen und einem Satz von Referenzbeschreibungen misst. Dies geschieht durch die Berechnung der Ähnlichkeit von n-Grammen (kontiguierliche Sequenzen von n Elementen aus einem gegebenen Textmuster) zwischen der generierten Beschreibung und den Referenzbeschreibungen. Die n-Gramme werden basierend auf ihrer Häufigkeit in der Menge der Referenzbeschreibungen gewichtet, was bedeutet, dass häufigere Phrasen stärker zum Score beitragen.
CIDEr ist besonders nützlich bei Aufgaben wie Bildbeschriftung because it accounts for variations in phrasing and expresses the degree to which the generated captions convey similar information to what human annotators would provide. A higher CIDEr score indicates a better alignment with human judgment, making it a popular choice for evaluating machine-generated text in visual tasks.
Insgesamt ist CIDEr ein wichtiges Werkzeug im Bereich von der Verarbeitung natürlicher Sprache and computer vision, helping researchers and developers improve their models by providing a more nuanced understanding of caption quality.