PAN 2016 - Perfilado de autores

Campaña

Nombre de la campaña

PAN 2016 @ CLEF

Nombre de la tarea

Author Profiling: Age and Gender Identification in Cross-Genre Evaluation

Tipo de tarea

Evaluación de sistemas de clasificación automática (edad y sexo)

Descripción de la tarea

La tarea consiste en identificar de manera automática el sexo y la edad de autores de blogs, social media, ensayos y revisiones habiendo aprendido los modelos con textos de Twitter.

Categoría de la tarea

Procesamiento del lenguaje natural

Fecha evento / edición

2016- https://pan.webis.de/clef16/pan16-web/author-profiling.html

Organizadores
  • Francisco Rangel - Autoritas, España
  • Paolo Rosso - Universitat Politècnica de València, España
  • Martin Potthast - Bauhaus-Universität Weimar, Alemania
  • Benno Stein - Bauhaus-Universität Weimar, Alemania
  • Ben Verhoeven - University of Anwerp, Bélgica
  • Walter Daelemans - University of Anwerp, Bélgica
Grupos destinatarios

Abierto a quien quiera participar: han participado grupos de investigación académicos y de la industria

Elegibilidad

Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales). Hay un control de calidad en los working notes presentados (peer review)

Calendario
  • 05-08/09/2016: Conferencia
  • 01/03/2016: Early birds
  • 29/04/2016: Envío de softwares
  • 13/05/2016: Notificación de resultados
  • 25/05/2016: Envío de artículos
  • 24/07/2016: Registro a la conferencia
Número de participantes

22 equipos (~70 personas)

Número de participantes de España

6 personas en 3 equipos

Dominio

Diferentes medios sociales sin acotar a un dominio concreto, excepto en el caso de las revisiones de hotel.

Idiomas
  • lnglés
  • Español
  • Holandés

Datos

Datos de entrenamiento Reviews
Autores en inglés 428
Autores en español 250
Autores en holandés 384

Distribuido como XML

Derecho de redistribución de datos

Sólo para investigación

Enlace a datasets

Resultados

Métrica de evaluación

Accuracy

Rendimiento

Social media

Blogs

Ensayos y revisiones

Sexo

Inglés: 53,75%

Español: 70,31%

Inglés: 75,64%

Español: 73,21%

Holandés56,80%
Edad

Inglés: 38,79%

Español: 35,94%

Inglés: 58,97%

Español: 51,79%

-
Combinado

Inglés: 20,98%

Español: 20,31%

Inglés: 39,74%

Español: 42,86%

-
Disponibilidad del código

En algunos casos los participantes proporcionaron su código fuente vía GitHub (especificado en sus working notes)

Tipo de ejecución

Remoto - A los participantes se les facilita el acceso a una máquina virtual para la evaluación del entorno TIRA

Número total de resultados enviados

104

Resultados con los rankings

Rangel F., Rosso P., Verhoeven B., Daelemans W., Potthast M., Stein B. (2016). Overview of the 4th Author Profiling Task at PAN 2016: Cross-Genre Evaluations. In: Balog K., Cappellato L., Ferro N., Macdonald C. (Eds.) CLEF 2016 Labs and Workshops, Notebook Papers. CEUR Workshop Proceedings. CEUR-WS.org, vol. 1609, pp. 750-784

http://ceur-ws.org/Vol-1180/CLEF2014wn-Pan-RangelEt2014.pdf [PDF]

Volumen de publicación

vol. 1609, CEUR-WS.org (108 citas a 15/10/2018)

Gestión web de usuarios

Atención a participantes

Email: pan@webis.de

Google Groups