Ibereval 2017 - Biomedical Abbreviation Recognition and Resolution

Compartir

Campaña

Nombre de la campaña

Ibereval 2017 @ SEPLN
Nombre de la tarea

Biomedical Abbreviation Recognition and Resolution (BARR)
Tipo de tarea

Tareas de clasificación: abbreviation mention, abbreviation relation.
Descripción de la tarea

Estrategias de evaluación para detectar automaticamente menciones de abreviaciones en tiempo real. 
Categoría de la tarea

Procesamiento del lenguaje natural
Fecha evento / edición

2017 - http://temu.bsc.es/BARR/index.html

Organizadores
  • Ander Intxaurrondo, Centro Nacional de Investigaciones Oncologicas, España
  • Martin Pérez Pérez, Universidad de Vigo, España
  • Gael Pérez Rodríguez, Universidad de Vigo, España
  • Jose Antonio López Martín, Hospital 12 de Octubre, Madrid, España
  • Jesús Santamaría, Centro Nacional de Investigaciones Oncologicas, España
  • Santiago de la Peña, Centro Nacional de Investigaciones Oncologicas, España
  • Marta Villegas, Centro Nacional de Investigaciones Oncologicas  y Barcelona Supercomputing Center, España
  • Saber Ahmad Akhondi, Elsevier Content & Innovation
  • Alfonso Valencia, Barcelona Supercomputing Center, España
  • Anália Lourenço, Universidad de Vigo, España
  • Martin Krallinger, Centro Nacional de Investigaciones Oncologicas, España
Grupos destinatarios

Abierto a quien quiera participar: grupos de investigación académicos y de la industria. Ha participado el Spanish National Cancer Research Center.
Elegibilidad

Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales). 
Calendario
  • 28/03/2017: Sample data
  • 15/05/2017: Training Subset 1
  • 30/05/2017: Training Subset 2
  • 21/06/2017: Test Set
  • 26/06/2017:  Envío de resultados
  • 01/07/2017: Envío Working notes
  • 03/07/2017: Envío reviews of Working notes
  • 07/07/ 2017: Envío camera ready
  • 19/09/2017: IberEval en la SEPLN
Número de participantes

7
Número de participantes de España

5
Dominio

Sanidad (dominio médico)
Idiomas

Español

Datos

Datos de entrenamiento

Distribuido como CSV
Derecho de redistribución de datos

Sólo para investigación
Enlace a datasets

http://temu.bsc.es/BARR/dataset.html

Resultados

Métrica de evaluación

F1 score
Rendimiento
  • Abbreviation mention: 0,75
  • Abbreviation relation: 0,68
Disponibilidad del código

No
Tipo de ejecución

Local
Número total de resultados enviados

25
Resultados con los rankings

Ander Intxaurrondo, Martin Pérez-Pérez, Gael Pérez-Rodríguez, Jose Antonio López-Martín, Jesus Santamaría, Santiago de la Peña, Marta Villegas, Saber Ahmad Akhondi, Alfonso Valencia, Analia Lourenço, Martin Krallinger, The Biomedical Abbreviation Recognition and Resolution (BARR) Track: Benchmarking, Evaluation and Importance of Abbreviation Recognition Systems. Applied to Spanish Biomedical Abstracts. Proceedings of the Second Workshop on Evaluation of Human Language Technologies for Iberian Languages (IberEval 2017), Raquel Martínez, Julio Gonzalo, Paolo Rosso, Soto Montalvo, Jorge Carrillo-de-Albornoz (Eds), Vol. 1881, ceur-ws.org, pp. 230-246, co-located with 33th Conference of the Spanish Society for Natural Language Processing (SEPLN 2017), Murcia, Spain, September 19, 2017.

http://ceur-ws.org/Vol-1881/Overview1.pdf [PDF] 
Volumen de publicación

Vol. 1881, ceur-ws.org
Gestión web de usuarios

Sí
Atención a participantes

Email