IberEval 2018 - Automatic Msogyny Identification (AMI)

Compartir

Campaña

Nombre de la campaña

Ibereval 2018 @ SEPLN
Nombre de la tarea

Automatic Msogyny Identification (AMI)
Tipo de tarea
  • Subtarea A: Misogyny Identification
  • Subtarea B: Misogynistic Behaviour and Target Classification
Descripción de la tarea

Detección de tweets misóginos. 
Categoría de la tarea

Procesamiento del lenguaje natural
Fecha evento / edición

2018 - https://amiibereval2018.wordpress.com/
Organizadores
  • Elisabetta Fersini, Università degli Studi di Milano-Bicocca, Italia
  • Paolo Rosso, Universitat Politècnica de València, España
  • Maria Anzovino, Università degli Studi di Milano-Bicocca, Italia
Grupos destinatarios

Abierto a quien quiera participar: grupos de investigación académicos y de la industria.
Elegibilidad

Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales). 
Calendario
  • 10/04/2018: Datos de entrenamiento disponibles
  • 24/04/2018: Datos de pruebas disponibles
  • 12/05/2018: Presentación de los resultados
  • 15/05/2018: Evaluación de los resultados
  • 31/05/2018: Presentación de los trabajos
  • 15/06/2018: Comentarios a los participantes (revisiones por pares)
  • 30/06/2018: Envío artículo final
  • 18/09/2018: IberEval en la SEPLN
Número de participantes

11
Número de participantes de España

6
Dominio

Twitter
Idiomas

Español e Inglés

Datos

Datos de entrenamiento

Distribuido como CSV
Derecho de redistribución de datos

Sólo para investigación
Enlace a datasets

https://amiibereval2018.wordpress.com/important-dates/data/

Resultados

Métrica de evaluación
  • Tarea A: Accuracy
  • Tarea B: Average Macro-F1
Rendimiento
  • Tarea A: español (81,47%)  e inglés (91,32%)
  • Tarea B: español (0,45) e inglés (0,44) 
Disponibilidad del código

No
Tipo de ejecución

Local
Número total de resultados enviados

56
Resultados con los rankings

Elisabetta Fersini, Paolo Rosso, Maria Anzovino. Overview of the Task on Automatic Misogyny Identification at IberEval 2018. Proceedings of the Third Workshop on Evaluation of Human Language Technologies for Iberian Languages (IberEval 2018). Paolo Rosso, Julio Gonzalo, Raquel Martínez, Soto Montalvo, Jorge Carrillo-de-Albornoz (Eds), Vol.2150, ceur-ws.org, pp.214-228, co-located with 34th Conference of the Spanish Society for Natural Language Processing (SEPLN 2018), Sevilla, Spain, September 18th, 2018.

http://ceur-ws.org/Vol-2150/overview-AMI.pdf  
Volumen de publicación

Vol. 2150, ceur-ws.org
Gestión web de usuarios

Sí
Atención a participantes

Email y Google group