SemEval-2017: 11th International Workshop on Semantic Evaluation

Task 2: Multilingual and Cross-lingual Semantic Word Similarity 

Tareas de similityd textual con dos tracks:

• monolingüe
• translingüe

Evaluar la similitud entre pares de palabras en cinco idiomas: inglés, español, italiano, alemán y farsi. 

Procesamiento del lenguaje natural, traducción automática

2017

• José Camacho-Collados, Sapienza University of Rome, Italia
• Mohammad Taher Pilehvar, University of Cambridge, Reino Unido
• Nigel Collier, University of Cambridge, Reino Unido
• Roberto Navigli, Sapienza University of Rome, Italia

Abierto a quien quiera participar: grupos de investigación académicos y de la industria. 

Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales). 

• 01/08/2016: Datos de trial disponibles
• 09/01/2017: Inicio de evaluación
• 30/01/2017: Final de evaluación
• 09/02/2017: Resultados publicados
• 27/02/2017: Envío de artículos
• 03/042017: Notificaciones
• 17/04/2017: Versión final de artículos

17 equipos

0

Español, inglés, italiano, alemán, farsi

Distribuido como CSV.

Sólo para investigación

http://alt.qcri.org/semeval2017/task2/index.php?id=data-and-tools

Pearson correlation con gold labels

• español: 0.,73
• alemán-español: 0,72
• inglés-español: 0,75
• español-farsi: 0,62
• español-italiano: 0,74

No

Local

84

Jose Camacho-Collados, Mohammad Taher Pilehvar, Nigel Collier, and Roberto Navigli. Task 2: Multilingual and Cross-lingual Semantic Word Similarity. Proceedings of the 11th International Workshop on Semantic Evaluation (SemEval-2017). August 2017, pp. 15-26

http://aclweb.org/anthology/S/S17/S17-2002.pdf

Proceedings of the 11th International Workshop on Semantic Evaluations (SemEval-2017). Association for Computational Linguistics.

Sí

Email y Google group