Semseval 2018 - Hypernym Discovery

Compartir

Campaña

Nombre de la campaña

SemEval-2018: 12th International Workshop on Semantic Evaluation
Nombre de la tarea

Task 9: Hypernym Discovery 
Tipo de tarea

Extracción de entidades:

  • General-Purpose Hypernym Discovery
  • Domain-Specific Hypernym Discovery
tarea

Dado un término específico y un corpus, los participantes tienen que extraer la mayor cantidad posible de hipónimos adecuados.. 
Categoría de la tarea

Procesamiento del lenguaje natural
Fecha evento / edición

2018
Organizadores
  • Jose Camacho-Collados, Sapienza University of Rome, Italia
  • Claudio Delli Bovi, Sapienza University of Rome, Italia
  • Tommaso Pasini, Sapienza University of Rome, Italia
  • Roberto Navigli, Sapienza University of Rome, Italia
  • Vered Shwartz, Bar-Ilan University, Israel
  • Luis Espinosa-Anke, Universitat Pompeu Fabra, España
  • Sergio Oramas, Universitat Pompeu Fabra, España
  • Horacio Saggion, Universitat Pompeu Fabra, España
  • Enrico Santus, Singapore University, Singapúr
Grupos destinatarios

Abierto a quien quiera participar: grupos de investigación académicos y de la industria. Han participado: Cognos Business Consulting S.R.L. (Rumanía), Alibaba Group (China) y Secret Sauce Partners (EE.UU.).
Elegibilidad

Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales). 
Calendario
  • 21/08/2017: Datos de trail
  • 18/09/2017: Datos de entrenamiento disponibles
  • 08/01/2018: Datos de prueba. Inicio de evaluación
  • 29/01/2018: Final de evaluación
  • 05/03/2018: Envío de artículos
  • 23/03/2018: Revisiones
  • 02/04/2018: Notificaciones
  • 16/04/2018: Envío artículo final
  • 5-6/06/2018: SemEval
Número de participantes

11
Número de participantes de España

0
Dominio Texto de diversos dominios, para la segunda tarea, dominio médico (sanidad) 
Idiomas

Inglés, italiano, español

Datos

Datos de entrenamiento

Distribuido como CSV.
Derecho de redistribución de datos

Sólo para investigación
Enlace a datasets

https://competitions.codalab.org/competitions/17119#learn_the_details-terms_and_conditions

Resultados

Métrica de evaluación

Mean Reciprocal Rank

Precision@k

Mean Average Precision
Rendimiento

General-Purpose Hypernym Discovery (español):

  • Mean Reciprocal Rank: 28,27
  • Precision@5: 20.39%
  • Mean Average Precision: 20,04
Disponibilidad del código

No
Tipo de ejecución

Local
Número total de resultados enviados

39
Resultados con los rankings

Camacho-Collados, Jose, Delli Bovi, Claudio, Espinosa-Anke, Luis, Oramas, Sergio, Pasini, Tommaso, Santus, Enrico, Shwartz, Vered, Navigli, Roberto, and Saggion, Horacio. SemEval-2018 Task 9: Hypernym Discovery. Proceedings of the 12th International Workshop on Semantic Evaluation (SemEval-2018), June 2018, pp. 712-724, New Orleans, Louisiana, June 5–6, 2018

http://aclweb.org/anthology/S18-1115

Volumen de publicación

Proceedings of The 12th International Workshop on Semantic Evaluation. Association for Computational Linguistics.
Gestión web de usuarios

Sí
Atención a participantes

Email y Google group