WMT 2015: Tenth Workshop on Statistical Machine Translation @ EMNLP

Quality Estimation

Automatic Post-Editing

Ranking de traducciones, corrección de errores.

Quality estimation evalúa métodos automáticos para estimar la calidad de salida de la traducción automática en tiempo de ejecución. La estimación de la calidad es un tema de creciente interés en MT. Su objetivo es proporcionar un indicador de calidad para oraciones desconocidas traducidas en varios niveles de granularidad: a nivel de oraciones y de palabras.

Automatic Post-Editing evalúa los métodos automáticos para corregir los errores producidos por un sistema de traducción automática. Dado que el sistema en sí mismo es una "caja negra", los métodos automáticos de edición posterior tienen que operar a nivel descendente (es decir, después de la traducción automática), mediante la explotación del conocimiento adquirido de las ediciones anteriores y se proporciona como material de entrenamiento.

Traducción Automática

2015

• Ondřej Bojar, Charles University in Prague, República Checa
• Rajan Chatterjee, FBK, Italia
• Christian Federmann, Microsoft Research, EE.UU.
• Barry Haddow, University of Edinburgh, Reino Unido
• Chris Hokamp, Dublin City University, Irlanda
• Matthias Huck, University of Edinburgh, Reino Unido
• Varvara Logacheva, University of Sheffield, Reino Unido
• Pavel Pecina, Charles University in Prague, República Checa
• Philipp Koehn, University of Edinburgh, Reino Unido / Johns Hopkins University, EE.UU.
• Christof Monz, University of Amsterdam, Holanda
• Matteo Negri, FBK, Italia
• Matt Post, Johns Hopkins University, EE.UU.
• Carolina Scarton, University of Sheffield, Reino Unido
• Lucia Specia, University of Sheffield, Reino Unido
•  Marco Turchi, FBK, Italia

Abierto a quien quiera participar: grupos de investigación académicos y de la industria.

Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales). 

• 31/01/2015: Publicación de datos de entrenamiento (post-editing)
• 15/02/2015: Publicación de datos de entrenamiento (QE)
• 04/052015: Publicación de datos de test (QE)
• 27/04/2015: Publicación de datos de test (post-editing)
• 15/05/2015: Fecha límite de envío resultados (post-editing)
• 02/06/2015: Fecha límite de envío de resultados (QE)
• 28/06/2015: Fecha límite de envío de artículos
• 21/07/2015: Notificación de aceptación
• 11/08/2015: Fecha límite para envío de las versiones final de los artículos

16

1

Parlamento Europeo, Naciones Unidas, noticias y relatos

Distribuido como CSV

Sólo para investigación.

http://www.statmt.org/wmt15/quality-estimation-task.html

QE: DeltaAvg,  Error de Promedio Medio (MAE) y sequence correlation.

Post-editing: Distancia mínima de edición (TER) entre la traducción automática y su versión editada posteriormente de forma manual.

• EN-ES (QE sentence-level): 6,51 (DeltaAvg); 13,25 (MAE)
• EN-ES (QE word-level): 43,12 (sequence correlation)
• EN-ES (post-editing): 23,22 (TER)

Evaluación
Participantes: no

Local

50+

Ondrej Bojar, Rajen Chatterjee, Christian Federmann, Barry Haddow, Matthias Huck, Chris Hokamp, Philipp Koehn, Varvara Logacheva, Christof Monz, Matteo Negri, Matt Post, Carolina Scarton, Lucia Specia, Marco Turchi. Findings of the 2015 Workshop on Statistical Machine Translation. Proceedings of the Tenth Workshop on Statistical Machine Translation, pp. 1–46, Co-located with EMNLP, Lisboa, Portugal, 17-18 September 2015.

http://www.statmt.org/wmt15/pdf/WMT01.pdf  

Proceedings of the 10th ACL Workshop on Statistical Machine Translation. Association for Computational Linguistics.

Sí

Email