IberSPEECH 2016

Campaña

Nombre de la campaña

iberSPEECH 2016

Nombre de la tarea

Albazyn Evaluation Challanges

Tipo de tarea

Search on Speech Evaluation

Speaker Diarization Evaluation

Descripción de la tarea

Search on Speech Evaluation: tarea de búsqueda en contenido de audio de una lista de términos. El objetivo es recuperar los archivos de audio apropiados que contengan cualquiera de esos términos / consultas. Se definen dos tareas diferentes:

  • Spoken Term Detection (STD)
  • Query-by-Example Spoken Term Detection (QbE STD)

Speaker Diarization Evaluation: la tarea onsiste en segmentar los documentos de audio de acuerdo con diferentes oradores y vincular aquellos segmentos que se originan en el mismo orador

Tema de la tarea

Sistemas conversacionales: reconocimiento del habla, diarización (transcripción con locutor asociado), búsqueda de términos.

Fecha evento / edición

2016

Organizadores

Search on Speech Evaluation

  • Javier Tejedor, FOCUS S.L., España
  • Doroteo T. Toledano, Universidad Autónoma de Madrid, España

Speaker Diarization Evaluation:

  • Alfonso Ortega, Universidad de Zaragoza, España
  • Ignacio Viñaals, Universidad de Zaragoza, España
  • Antonio Miguel, Universidad de Zaragoza, España
  • Eduardo Lleida, Universidad de Zaragoza, España
Grupos destinatarios

Abierto a quien quiera participar: grupos de investigación académicos y de la industria.

Elegibilidad

Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales). 

Calendario
  • 15/06/2016: Publicación de datos de entrenamiento (Speaker Diarization)
  • 30/06/2016: Publicación de datos de entrenamiento (Search on Speech)
  • 15/07/2016: Fecha límite inscripción.
  • 15/09/2016: Publicación de datos de test (Search on Speech)
  • 15/10/2016: Envío de resultados de sistemas y artículos
  • 31/10/2016: Resultados distribuidos a los participantes (Search on Speech)
  • 23-25/11/2016: Taller de evaluación en IbersSPEECH 2016
Número de participantes

10

Número de participantes de España

10

Dominio

Search on Speech: IT (presentaciones en las jornadas MAVIR sobre recuperación de la información, procesamiento del lenguaje natural etc.); Parlamento Europeo (European Parliament Interpretation Corpus)

Speaker Diarization: Noticias del Canal 3/24 de Televisión Catalana, Corporación Aragonesa de Radio y Televisión (CARTV)

Idiomas Español (catalán para speaker diarization)

Datos

Datos de entrenamiento

Search on Speech: : bases de datos de MAVIR y EPIC. Formatos audios: PCM mono and stereo, MP3, etc.

Speaker Diarization: Noticias del Canal 3/24 de la Televisión Catalana, Corporación Aragonesa de Radio y Televisión (CARTV)

Derecho de redistribución de datos

-

Enlace a datasets

Los datos están disponibles solo para los participantes de la evaluación y están sujetos a los términos de un acuerdo de licencia. El acuerdo de licencia con RTVE se puede descargar desde la página web de Cátedra RTVE-UZ

Resultados

Métrica de evaluación

Search on Speech: Actual Term Weighted Value (ATWV); también curvas DET

Speaker Diarization: Diarization Error Rate (DER)

Rendimiento

Resultados obtenidos sobre training y desarrollo

Disponibilidad del código

No

Tipo de ejecución

Local

Número total de resultados enviados

12

Resultados con los rankings

https://iberspeech2016.inesc-id.pt/wp-content/uploads/2017/01/OnlineProceedings_IberSPEECH2016.pdf  

Volumen de publicación

Conference Proceedings iberSPEECH 2016.

Gestión web de usuarios

Email

Los grupos interesados deben registrarse para la evaluación, contactando al equipo organizador en ortega@unizar.es con CC para el Comité Organizador de Evaluaciones de ALBAYZIN 2014. El contacto debe contener la siguiente información: Grupo de investigación (nombre y acrónimo) , Institución (universidad, centro de investigación, etc.), Nombre del Contacto

Atención a participantes

Email: ortega@unizar.es