Senseval 3 - Lexical sample task

Campaña

Nombre de la campaña

Senseval-3: Third International Workshop on Evaluating Word Sense Disambiguation Systems

Nombre de la tarea

Lexical sample task

Tipo de tarea

Desambiguación semántica

tarea

Crear un marco para la evaluación de sistemas que realizan desambiguación del sentido de la palabra. 

Categoría de la tarea

Procesamiento del lenguaje natural

Fecha evento / edición

2004

Organizadores
  • Eneko Agirre, Universidad del País Vasco, España
  • Lluis Marquez, Universitat Politècnica de Catalunya, España
  • M. Antonia Marti, Universitat de Barcelona, España
  • Mariona Taule, Universitat de Barcelona, España
Grupos destinatarios

Abierto a quien quiera participar: grupos de investigación académicos y de la industria. Han participado: Sinequa SAS (Francia); Language Computer Corporation y CL Research  (EE.UU.).

Elegibilidad

Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales). 

Calendario -
Número de participantes

21

Número de participantes de España

4

Dominio Noticias
Idiomas

Español, Catalán, Euskera + otros idiomas

Datos

Datos de entrenamiento

Distribuido como XML.

Derecho de redistribución de datos

Sólo para investigación

Enlace a datasets

http://web.eecs.umich.edu/~mihalcea/senseval/senseval3/data.html

Resultados

Métrica de evaluación

F1 score y Recall para textos vascos

Rendimiento
  • CAT: 0,85
  • ES: 0,84
  • EU: 70,4%
Disponibilidad del código

No

Tipo de ejecución

Local

Número total de resultados enviados

-

Resultados con los rankings

Eneko Agirre, Itziar Aldabe, Mikel Lersundi, David Martinez, Eli Pociello, Larraitz Uria.The Basque lexical-sample task. Proceedings of SENSEVAL-3, the Third International Workshop on the Evaluation of Systems for the Semantic Analysis of Text. July 2004.

http://aclweb.org/anthology/W/W04/W04-0801.pdf

L. Màrquez, M. Taulé, M.A. Martí, M. García, F.J. Real, and D. Ferres. Senseval-3: The Catalan Lexical Sample Task. Proceedings of SENSEVAL-3, the Third International Workshop on the Evaluation of Systems for the Semantic Analysis of Text. July 2004.

http://aclweb.org/anthology/W/W04/W04-0836.pdf

L. Màrquez, M. Taulé, M.A. Martí, M. Garcíıa, N. Artigas, F.J. Real, D. Ferres. Senseval-3: The Spanish Lexical Sample Task. Proceedings of SENSEVAL-3, the Third International Workshop on the Evaluation of Systems for the Semantic Analysis of Text. July 2004

http://aclweb.org/anthology/W/W04/W04-0806.pdf

Volumen de publicación

Linguistics Proceedings of SENSEVAL-3, the Third International Workshop on the Evaluation of Systems for the Semantic Analysis of Text. Association for Computational Linguistics.

Gestión web de usuarios

Atención a participantes

Email