WMT 2018

Campaña

Nombre de la campaña

WMT 2018: Third Conference on Statistical Machine Translation @ EMNLP

Nombre de la tarea

Biomedical Translation Task

Tipo de tarea

Traducción.

Descripción de la tarea

Es una tarea que tiene como objetivo evaluar los sistemas de traducción de publicaciones científicas para el dominio biomédico y de salud. Los documentos fueron recuperados de la base de datos Scielo de publicaciones científicas.

la tarea

Traducción Automática

Fecha evento / edición

2018 - http://www.statmt.org/wmt18/biomedical-translation-task.html

Organizadores
  • Cristian Grozea, Fraunhofer Institute, Alemania
  • Antonio Jimeno Yepes, IBM Research, Australia
  • Madeleine Kittner, Humboldt-Universität zu Berlin, Alemania
  • Aurélie Névéol, LIMSI, CNRS, Francia
  • Mariana Neves, Federal Institute for Risk Assessment, Alemania
  • Amy Siu, Beuth University of Applied Sciences, Alemania
  • Karin Verspoor, University of Melbourne, Australia
Grupos destinatarios

Abierto a quien quiera participar: grupos de investigación académicos y de la industria.

Elegibilidad

Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales). 

Calendario
  • 08/06/2018: Publicación de datos de test
  • 22/06/2018: Fecha límite de envío de resultados
  • 27/07/2018: Fecha límite para envío de artículos
  • 18/08/2018: Notificación            
  • 31/08/2018: Envío camera ready
  • 31/10-01/11/2018: Conferencia
Número de participantes

6

Número de participantes de España

1

Dominio

Salud (biomédicina)

Idiomas Español, inglés y otros idiomas

Datos

Datos de entrenamiento

Distribuido como CSV

Derecho de redistribución de datos

Sólo para investigación.

Enlace a datasets

http://www.statmt.org/wmt18/biomedical-translation-task.html

Resultados

Métrica de evaluación

TrueSkill (IT) para ranking

BLEU (biomedical/health)

DeltaAvg and Mean Average Error (QE)

TER (post-editing).

Rendimiento
  • EN-ES: 39,77
  • ES-EN: 43,31

http://www.statmt.org/wmt18/wmt-2018-biomedical-results.pdf

Disponibilidad del código

No

Tipo de ejecución

Local

Número total de resultados enviados

12

Resultados con los rankings

To be published. 

Volumen de publicación

Proceedings of the Third Conference on Statistical Machine Translation. Association for Computational Linguistics.

Gestión web de usuarios

Atención a participantes

Email