Semseval 2007 - Multilevel semantic annotation

Campaña

Nombre de la campaña

SemEval-2007: Fourth International Workshop on Semantic Evaluations

Nombre de la tarea

Task 9: Multilevel Semantic Annotation of Catalan and Spanish

Tipo de tarea

Anotación  semántica (a diferentes niveles).

  • Noun Sense Disambiguation (NSD)
  • Named Entity Recognition (NER)
  • Semantic Role Labeling (SRL)
tarea

Evaluar y comparar sistemas automáticos para la anotación de varios niveles lingüísticos semánticos para catalán y español. 

Categoría de la tarea

Procesamiento del lenguaje natural

Fecha evento / edición

2007

Organizadores
  • Lluis Marquez, Universitat Politècnica de Catalunya, Españaa
  • M. Antònia Martí, Universitat de Barcelona, España
  • Luis Villarejo, Universitat Politècnica de Catalunya, España
  • Mariona Taule, Universitat de Barcelona, España
Grupos destinatarios

Abierto a quien quiera participar: grupos de investigación académicos y de la industria.

Elegibilidad

Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales). 

Calendario
  • 10/01/2007: Datos de trial disponibles
  • 18/02/2007: Período de evaluación extendido a 4 semanas.
  • 19/02/2007: Registro abierto
  • 23/02/2007: Publicación de datos de entrenamiento y test
  • 26/02/2007: Comienza el periodo de evaluación
  • 09/03/2007: Versión beta del anotador oficial disponible
  • 21/03/2007: Resultados NSD
  • 12/04/2007: Resultados NER.
Número de participantes

2

Número de participantes de España

1

Dominio Múltiples recursos
Idiomas

Español y Catalán.

Datos

Datos de entrenamiento

Distribuido como CSV.

Derecho de redistribución de datos

Sólo para investigación

Enlace a datasets

http://www.lsi.upc.edu/~nlp/semeval/msacs_systems.html

Resultados

Métrica de evaluación

F1 score

Rendimiento
  • NSD: 0,79.(catalán), 0,68.(español)
  • NER: 0,72 (catalán), 0,65 (español)
  • SRL:0,89 (catalán), 0,84 (español)
Disponibilidad del código

No

Tipo de ejecución

Local

Número total de resultados enviados

48

Resultados con los rankings

Lluís Màrquez, Lluis Villarejo, M. A. Martí, Mariona Taulé. Task 09: Multilevel Semantic Annotation of Catalan and Spanish. Proceedings of the Fourth International Workshop on Semantic Evaluations (SemEval-2007). June 2007.

http://aclweb.org/anthology/S/S07/S07-1008.pdf

Volumen de publicación

Proceedings of the Fourth International Workshop on Semantic Evaluations (SemEval-2007). Association for Computational Linguistics.

Gestión web de usuarios

Atención a participantes

Email