WMT 2007 - Machine traslation

Compartir

Campaña

Nombre de la campaña

WMT 2007: Second Workshop on Statistical Machine Translation @ AACL
Nombre de la tarea

Shared Task: Machine Translation for European Languages
Tipo de tarea

Traducción
Descripción de la tarea

Proporcionan datos de entrenamiento para pares de idiomas europeos y un marco común (que incluye un modelo de idioma y un sistema de línea de base). La tarea es mejorar los métodos para construir una tabla de traducción de frases (por ejemplo, mediante una mejor de alineación de palabras, extracción de frases, puntuación de frases), aumentar el sistema de otros sistemas (por ejemplo, mediante preprocesamiento) o crear sistemas de traducción completamente nuevos.
la tarea

Traducción Automática
Fecha evento / edición

2007 - http://www.statmt.org/wmt07/shared-task.html
Organizadores
  • Philipp Koehn, University of Edinburgh, Reino Unido
  • Christof Monz, University of London, Reino Unido
  • Cameron Shaw Fordyce, CELC, Italia
  •  Chris Callison-Burch, University of Edinburgh, Reino Unido
Grupos destinatarios

Abierto a quien quiera participar: grupos de investigación académicos y de la industria. Ha participado los sistemas comerciales Systran y PCT.
Elegibilidad

Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales). 
Calendario
  • 21/03/2007: Datos de test
  • 06/04/2007: Envío resultados
  • 13/04/2007: Envío artículos
Número de participantes

15 (español)
Número de participantes de España

2
Dominio

Noticias y Europarl
Idiomas Español, inglés y otros idiomas

Datos

Datos de entrenamiento

Distribuido como CSV
Derecho de redistribución de datos

Sólo para investigación.
Enlace a datasets

http://www.statmt.org/wmt07/shared-task.html

Resultados

Métrica de evaluación

Manualmente con un conjunto de cuatro métricas: adequacy, fluency,  rank, constituent
Rendimiento
  • ES-EN (Europarl): 0,59   0.61   0.5    0,19
  • ES-EN (noticias):  0,57   0,54   0,54   0,31
  • EN-ES (Europarl): 0,59   0,64   0,47  0,25
  • EN-ES (noticias):  0,51   0,51   0,48   0,35
Disponibilidad del código

No
Tipo de ejecución

Local
Número total de resultados enviados

28
Resultados con los rankings

Chris Callison-Burch, Cameron Fordyce, Philipp Koehn, Christof Monz, Josh Schroeder. (Meta-) Evaluation of Machine Translation. Proceedings of the Second Workshop on Statistical Machine Translation, pp. 136–158, in conjunction with ACL, June 23, 2007, Prague, Czech Republic

http://www.statmt.org/wmt07/pdf/WMT18.pdf  
Volumen de publicación

Proceedings of the Workshop on Statistical Machine Translation. Association for Computational Linguistics.
Gestión web de usuarios

Sí
Atención a participantes

Email