Semseval 2017 -Semantic Textual Similarity

Compartir

Campaña

Nombre de la campaña

SemEval-2017: 11th International Workshop on Semantic Evaluation
Nombre de la tarea

Task 1: Semantic Textual Similarity 
Tipo de tarea

Tareas de similityd textual con dos tracks:

  • Spanish monolingual pairs
  • Spanish-English cross-lingual pairs
tarea

Evaluar pares de oraciones de acuerdo con su grado de similitud semántica. 
Categoría de la tarea

Procesamiento del lenguaje natural, traducción automática
Fecha evento / edición

2017
Organizadores
  • Eneko Agirre, Universidad del País Vasco, España
  • Daniel Cer, Google Research, EE.UU.
  • Mona Diab, George Washington University, EE.UU.
  • Iñigo Lopez-Gazpio, Universidad del País Vasco, España
  • Lucia Specia, University of Sheffield, Reino Unido
Grupos destinatarios

Abierto a quien quiera participar: grupos de investigación académicos y de la industria. Han participado: Compilatio (Francia), Hitachi (Japón), MITRE Corporation (EE.UU.), y National Information Processing Institute (Polonia).
Elegibilidad

Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales). 
Calendario
  • 02/09/2016: Datos de trial disponibles
  • 24/10/2016: Datos de entrenamiento disponibles
  • 09/01/2017: Inicio de evaluación
  • 30/01/2017: Final de evaluación
  • 06/02/2017: Resultados publicados
  • 27/02/2017: Envío de artículos
  • 03/042017: Notificaciones
  •  17/04/2017: Versión final de artículos
Número de participantes

53 equipos
Número de participantes de España

0
Dominio Stanford Natural Language Inference (SNLI) corpus: originalmente, leyendas de imagen 
Idiomas

Español, inglés, árabe y turco..

Datos

Datos de entrenamiento

Distribuido como CSV.
Derecho de redistribución de datos

Sólo para investigación
Enlace a datasets

http://ixa2.si.ehu.es/stswiki/index.php/STSbenchmark

Resultados

Métrica de evaluación

Pearson correlation con gold labels
Rendimiento
  • Tarea 1: 0,86
  • Tarea 2: 0,81
Disponibilidad del código

No
Tipo de ejecución

Local
Número total de resultados enviados

84
Resultados con los rankings

Daniel Cer, Mona Diab, Eneko Agirre, Inigo Lopez-Gazpio, and Lucia Specia. SemEval-2017 Task 1: Semantic Textual Similarity Multilingual and Cross-lingual Focused Evaluation. Proceedings of the 11th International Workshop on Semantic Evaluation (SemEval-2017). August 2017, pp. 1-14.

http://www.aclweb.org/anthology/S17-2001

Volumen de publicación

Proceedings of the 11th International Workshop on Semantic Evaluations (SemEval-2017). Association for Computational Linguistics.
Gestión web de usuarios

Sí
Atención a participantes

Email