IberEval 2018 - Authorship and aggressiveness analysis in Twitter: case study in Mexican Spanish (MEX-A3T)

Campaña

Nombre de la campaña

Ibereval 2018 @ SEPLN

Nombre de la tarea

Authorship and aggressiveness analysis in Twitter: case study in Mexican Spanish (MEX-A3T)

Tipo de tarea
  • Author profiling
  • Aggressiveness identification 
Descripción de la tarea

Dado un conjunto de tweets, una tarea consiste en clasificar cada tweet en agresivo o no. La otra tarea consiste en identificar de manera automática el sexo y la edad del autor de un texto dado 

Categoría de la tarea

Procesamiento del lenguaje natural

Fecha evento / edición

2018 - https://mexa3t.wixsite.com/home

Organizadores
  • Álvarez-Carmona Miguel, INAOE, México
  • Guzmán-Falcón Estefania, INAOE, México
  • Montes-y-Gómez Manuel, INAOE, México
  • Escalante Hugo Jair, INAOE, México
  • Villasenor-Pineda Luis, INAOE, México
  • Reyes-Meza Veronica, Universidad Autónoma de Tlaxcala, México
  • Rico-Sulayes Antonio, Universidad de las Américas Puebla, México
Grupos destinatarios

Abierto a quien quiera participar: grupos de investigación académicos y de la industria.

Elegibilidad

Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales). 

Calendario
  • 05/03/2018: Publicación de los datos de entrenamiento
  • 23/04/2018: Publicación de datos de test
  • 30/04/2018: Resultados del sistema por parte de los organizadores
  • 11/05/2018: Evaluación de los participantes
  • 28/05/2018: Envío de artículos
  • 12/06/2018: Notificación a los autores
  • 26/06/2018: Envío de artículos finale
  • 18/09/2018: IberEval en la SEPLN
Número de participantes
  • Tarea author profiling: 4
  • Tarea agresividad: 7
Número de participantes de España

4 investigadores en 3 equipos

Dominio

Twitter (sin acotar a un dominio concreto)

Idiomas

Español (variante México)

Datos

Datos de entrenamiento

Distribuido como CSV

Derecho de redistribución de datos

Sólo para investigación

Enlace a datasets

https://mexa3t.wixsite.com/home/copia-de-description

Resultados

Métrica de evaluación
  • Tarea 1 (author profiling): Average Macro F1
  • Tarea 2 (agresividad): Macro F1
Rendimiento
  • Tarea 1 (author profiling): 0,67
  • Tarea 2 (agresividad): 0,62
Disponibilidad del código

No

Tipo de ejecución

Local

Número total de resultados enviados

16

Resultados con los rankings

Miguel Á. Álvarez-Carmona, Estefanía Guzmán-Falcón, Manuel Montes-y-Gómez, Hugo Jair Escalante, Luis Villaseñor-Pineda, Verónica Reyes-Meza, Antonio Rico-Sulayes. Overview of MEX-A3T at IberEval 2018: Authorship and Aggressiveness Analysis in Mexican Spanish Tweets. Proceedings of the Third Workshop on Evaluation of Human Language Technologies for Iberian Languages (IberEval 2018). Paolo Rosso, Julio Gonzalo, Raquel Martínez, Soto Montalvo, Jorge Carrillo-de-Albornoz (Eds), Vol.2150, ceur-ws.org, pp.74-96, co-located with 34th Conference of the Spanish Society for Natural Language Processing (SEPLN 2018), Sevilla, Spain, September 18th,  2018.

http://ceur-ws.org/Vol-2150/overview-mex-a3t.pdf  

Volumen de publicación

Vol. 2150, ceur-ws.org

Gestión web de usuarios

Atención a participantes

Email