METEOR

METEOR (Metric for Evaluation of Translation with Explicit ORdering) es una métrica para la evaluación de la salida de traducción automática. La métrica se basa en la media armónica de la precisión y la exhaustividad de unigramas, con la exhaustividad ponderada más que la precisión. También tiene varias características que no se encuentran en otras métricas, como la derivación morfológica y la coincidencia de sinónimos, junto con la coincidencia exacta de palabras estándar. La métrica fue diseñada para solucionar algunos de los problemas encontrados en la métrica BLEU más popular, y también producir una buena correlación con el juicio humano a nivel de oración o segmento. Esto difiere de la métrica BLEU en que BLEU busca la correlación a nivel de corpus. Se han presentado resultados que dan una correlación de hasta 0.964 con el juicio humano a nivel de corpus, en comparación con el logro de BLEU de 0.817 en el mismo conjunto de datos. A nivel de oración, la correlación máxima con el juicio humano alcanzada fue de 0.403. Algoritmo Al igual que con BLEU, la unidad básica de evaluación es la oración; el algoritmo primero crea una alineación (véanse las ilustraciones) entre dos oraciones, la cadena de traducción candidata y la cadena de traducción de referencia. La alineación es un conjunto de mapeos entre unigramas. Un mapeo puede considerarse como una línea entre un unigrama en una cadena y un unigrama en otra cadena. Las restricciones son las siguientes: cada unigrama en la traducción candidata debe mapearse a cero o un unigrama en la referencia. Los mapeos se seleccionan para producir una alineación como se definió anteriormente. Si hay dos alineaciones con el mismo número de mapeos, se elige la alineación con la menor cantidad de cruces, es decir, con menos intersecciones de dos mapeos. De las dos alineaciones mostradas, la alineación (a) se seleccionaría en este punto. Las etapas se ejecutan de forma consecutiva y cada etapa solo agrega a la alineación aquellos unigramas que no se han emparejado en etapas anteriores. Una vez que se calcula la alineación final, la puntuación se calcula de la siguiente manera: la precisión de unigramas se calcula como: