WMT 2014

Campaña

Nombre de la campaña

WMT 2014: Ninth Workshop on Statistical Machine Translation @ ACL

Nombre de la tarea

Quality Estimation

Tipo de tarea

Ranking de traducciones

Descripción de la tarea

Esta tarea avalúa métodos automáticos para estimar la calidad de salida de la traducción automática en tiempo de ejecución. La estimación de la calidad es un tema de creciente interés en MT. Su objetivo es proporcionar un indicador de calidad para oraciones desconocidas traducidas en varios niveles de granularidad: a nivel de oraciones y a nivel de palabras.

la tarea

Traducción Automática

Fecha evento / edición

2014 - http://www.statmt.org/wmt14/quality-estimation-task.html

Organizadores
  • Ondrej Bojar, Charles University, República Checa
  • Christian Buck, University of Edinburgh, Reino Unido
  • Christian Federmann, Microsoft Research, EE.UU.
  • Barry Haddow, University of Edinburgh, Reino Unido
  • Philipp Koehn, University of Edinburgh, Reino Unido
  •  Matouš Macháček, Charles University in Prague, República Checa
  • Christof Monz, University of Amsterdam, Holanda
  •  Pavel Pecina, Charles University in Prague, República Checa
  • Matt Post, Johns Hopkins University, EE.UU.
  • Herve Saint-Amand, University of Edinburgh, Reino Unido
  • Radu Soricut, SDL Language Weaver, EE.UU.
  • Lucia Specia, University of Sheffield, Reino Unido
Grupos destinatarios

Abierto a quien quiera participar: grupos de investigación académicos y de la industria. Yandex ha participado con la School of Data Analysis.

Elegibilidad

Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales). 

Calendario
  • 22/01/2014: Publicación de datos de entrenamiento
  • 07/03/2014: Publicación de datos de prueba
  • 01/04/2014: Fecha límite de envío de resultados de métricas QE
  • 01/04/2014: Fecha límite de envío de artículos
  • 21/04/2014: Notificación de aceptación
  • 28/04/2014: fecha límite para envío de artículos finales
Número de participantes

10

Número de participantes de España

1

Dominio

Parlamento Europeo, Naciones Unidas, noticias y relatos

Idiomas Español, inglés y alemán

Datos

Datos de entrenamiento

Distribuido como CSV

Derecho de redistribución de datos

Sólo para investigación.

Enlace a datasets

http://www.statmt.org/wmt14/translation-task.html

Resultados

Métrica de evaluación

DeltaAvg: representa el ranking respecto a otras frases del test (véase descipción detallada en el overview)

Rendimiento
  • ES-EN: 0,26
  • EN-ES: 0,23
Disponibilidad del código

Evaluación
Participantes: no

Tipo de ejecución

Local

Número total de resultados enviados

10

Resultados con los rankings

Ondrej Bojar, Christian Buck, Christian Federmann, Barry Haddow, Philipp Koehn, Johannes Leveling, Christof Monz, Pavel Pecina, Matt Post, Herve Saint-Amand, Radu Soricut, Lucia Specia, Ales Tamchyna. Findings of the 2014 Workshop on Statistical Machine Translation. Proceedings of the Ninth Workshop on Statistical Machine Translation, pp. 12–58, Co-locotaed with ACL, Baltimore, Maryland USA, June 26–27, 2014

http://www.statmt.org/wmt14/pdf/W14-3302.pdf  

Volumen de publicación

Proceedings of the 9th ACL Workshop on Statistical Machine Translation. Association for Computational Linguistics.

Gestión web de usuarios

Atención a participantes

Email