IberEval 2018 - Biomedical Abbreviation Recognition and Resolution 2nd Edition (BARR2)

Compartir

Campaña

Nombre de la campaña

Ibereval 2018 @ SEPLN
Nombre de la tarea

Biomedical Abbreviation Recognition and Resolution 2nd Edition (BARR2)
Tipo de tarea

Tareas de clasificación: Abbreviation-definitions pairs, Abbreviation recognition and resolution.
Descripción de la tarea

Evaluar estrategias para detectar automáticamente menciones de abreviaturas en el texto en ejecución. 
Categoría de la tarea

Procesamiento del lenguaje natural
Fecha evento / edición

2018 - http://temu.bsc.es/BARR2/

Organizadores
  • Ander Intxaurrondo, Centro Nacional de Investigaciones Oncologicas, España
  •  Montserrat Marimon,  Barcelona Supercomputing Center, España
  • Aitor Gonzalez-Agirre, Centro Nacional de Investigaciones Oncologicas y Barcelona Supercomputing Center, España
  • Jose Antonio López Martín, Hospital 12 de Octubre, Madrid, España
  • Jesús Santamaría, Centro Nacional de Investigaciones Oncologicas, España
  • Marta Villegas, Centro Nacional de Investigaciones Oncologicas  y Barcelona Supercomputing Center, España
  •  Martin Krallinger, Centro Nacional de Investigaciones Oncologicas, España
Grupos destinatarios

Abierto a quien quiera participar: grupos de investigación académicos y de la industria. Han participado: Hospital Italiano de Buenos Aires (Argentina) y HUFA, Vicomtech, I+D Lanik S.A (España).
Elegibilidad

Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales). 
Calendario
  • 20/04/2018: Sample data
  • 17/05/2018: Training corpus
  • 25/05/2018:  Development corpus
  • 28/05/2018: background and test corpora
  • 12/06/2018: Envío resultados participantes
  • 21/06/2018: Publicaciones de los resultados
  • 01/07/2018: Envío working notes
  • 10/07/2018: Notificación revisión working notes a los autores
  • 18/07/2018: Envío camera ready working notes
  • 18/09/2018: IberEval en la SEPLN
Número de participantes

5
Número de participantes de España

4
Dominio

Sanidad (dominio médico): casos clínicos (Scientific Electronic Library Online)
Idiomas

Español

Datos

Datos de entrenamiento

Formato txt (UTF-8)
Derecho de redistribución de datos

Sólo para investigación
Enlace a datasets

http://temu.bsc.es/BARR2/datasets.html

Resultados

Métrica de evaluación

F1 score
Rendimiento
  • Abbreviation mention: 0,88
  • Abbreviation relation: 0,83
Disponibilidad del código

No
Tipo de ejecución

Local
Número total de resultados enviados

26
Resultados con los rankings

Ander Intxaurrondo, Montserrat Marimon, Aitor Gonzalez-Agirre, Jose Antonio Lopez-Martin, Heidy Rodriguez, Jesus Santamaria, Marta Villegas, Martin Krallinger. Finding Mentions of Abbreviations and Their Definitions in Spanish Clinical Cases: The BARR2 Shared Task Evaluation Results. Proceedings of the Third Workshop on Evaluation of Human Language Technologies for Iberian Languages (IberEval 2018). Paolo Rosso, Julio Gonzalo, Raquel Martínez, Soto Montalvo, Jorge Carrillo-de-Albornoz (Eds), Vol.2150, ceur-ws.org, pp.280-289, co-located with 34th Conference of the Spanish Society for Natural Language Processing (SEPLN 2018), Sevilla, Spain, September 18th, 2018.

http://ceur-ws.org/Vol-2150/overview-BARR2.pdf [PDF] 
Volumen de publicación

Vol. 2150, ceur-ws.org
Gestión web de usuarios

Sí
Atención a participantes

Email