EMNLP 2017 - Native Language Identification

Campaña

Nombre de la campaña

EMNLP 2017 - The 12th Workshop on Innovative Use of NLP for Building Educational Applications @ EMNLP

Nombre de la tarea

Shared Task on Native Language Identification (NLI) 

Tipo de tarea

Clasificación

Tarea

Identificar automáticamente el idioma nativo de un autor en un idioma aprendido (tracks: text y speech)

Categoría de la tarea

Procesamiento del lenguaje natural

Fecha evento / edición

2017

Organizadores
  • Aoife Cahill, Educational Testing Service, EE.UU.
  • Keelan Evanini, Educational Testing Service, EE.UU.
  • Shervin Malmasi, Harvard Medical School, EE.UU.
  • Joel Tetreault, Grammarly, EE.UU
Grupos destinatarios

Abierto a quien quiera participar: grupos de investigación académicos y de la industria. 

Elegibilidad

Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales). 

Calendario
  • 01/03/2017: Datos de entrenamiento disponibles
  • 19/06/2017: Datos de prueba disponibles
  • 26/06/2017: Notificación
  • 05/07/2017: Descripción del sistema
  • 14/07/2017: Artículo final
Número de participantes

17 (track texto)

Número de participantes de España

1

Dominio

Trabajos para Toefl 

Idiomas

Textos en inglés (idioma nativos: español u otros idiomas)

Datos

Datos de entrenamiento

-

Derecho de redistribución de datos

Sólo para investigación.

Enlace a datasets

-

Resultados

Métrica de evaluación

Macro F1

Rendimiento

Text-based: 88.18

Speech-based: 87.5

Fusión: 93.19

Disponibilidad del código

No

Tipo de ejecución

Local

Número total de resultados enviados

35

Resultados con los rankings

Shervin Malmasi, Keelan Evanini, Aoife Cahill, Joel Tetreault, Robert Pugh, Christopher Hamill, Diane Napolitano, and Yao Qian. A Report on the 2017 Native Language Identification Shared Task. In Proceedings of the 12th Workshop on Building Educational Applications Using NLP. Association for Computational Linguistics, Copenhagen, Denmark, 8 September 2017

http://www.aclweb.org/anthology/W17-5007 

Volumen de publicación

Proceedings of the 12th Workshop on Building Educational Applications Using NLP. Association for Computational Linguistics.

Gestión web de usuarios

Atención a participantes

Email