PAN 2015 - Perfilado de autores

Compartir

Campaña

Nombre de la campaña

PAN 2015 @ CLEF
Nombre de la tarea

Author Profiling: Age, Gender and Personality Detection  in Twitter
Tipo de tarea

Evaluación de sistemas de clasificación automática (edad, sexo y personalidad)
Descripción de la tarea

Dado un texto escrito en Twitter, la tarea consiste en identificar de manera automática el sexo, la edad y los rasgos de personalidad de su autor.
Categoría de la tarea

Procesamiento del lenguaje natural
Fecha evento / edición

2015 - https://pan.webis.de/clef15/pan15-web/author-profiling.html
Organizadores
  • Francisco Rangel - Autoritas, España
  • Fabio Celli - University of Trento, Italia
  • Paolo Rosso - Universitat Politècnica de València, España
  • Martin Potthast - Bauhaus-Universität Weimar, Alemania
  • Benno Stein - Bauhaus-Universität Weimar, Alemania
  • Walter Daelemans - University of Anwerp, Bélgica
Grupos destinatarios

Abierto a quien quiera participar: han participado grupos de investigación académicos y de la industria 
Elegibilidad

Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales). Hay un control de calidad en los working notes presentados (peer review) 
Calendario
  • 08-11/09/2015: Conferencia
  • 10/03/2015: Early birds
  • 15/04/2015: Envío de softwares
  • 24/05/2015: Notificación de resultados
  • 07/06/2015: Envío de artículos
  • 24/07/2015: Registro a la conferencia
Número de participantes

22 equipos (~80 personas)
Número de participantes de España

4 personas en 2 equipos
Dominio

Twitter, sin acotar a un dominio concreto 
Idiomas
  • lnglés
  • Español 
  • Italiano
  • Holandés

Datos

Datos de entrenamiento   Twitter
Autores en inglés 152
Autores en español 110
 Autores en italiano 38 
 Autores en holandés 34 

Distribuido como XML
Derecho de redistribución de datos

Sólo para investigación
Enlace a datasets

Resultados

Métrica de evaluación
  • Accuracy en identificación sexo y edad
  • RMSE en detección de personalidad
Rendimiento Medios sociales
Sexo

Inglés: 85,92%

Español: 96,59%

Italiano: 86,11%

Holandés: 96,88%
Edad

Inglés: 83,80%

Español: 79,55%
Combinado

Inglés: 72,54%

Español: 77,27%
Personalidad

Inglés: 14,42%

Español: 12,35%

Italiano: 10,44%

Holandés: 5,63% 
Disponibilidad del código

En algunos casos los participantes proporcionaron su código fuente vía GitHub (especificado en sus working notes)
Tipo de ejecución

Remoto - A los participantes se les facilita el acceso a una máquina virtual para la evaluación del entorno TIRA
Número total de resultados enviados

82
Resultados con los rankings

Rangel F., Celli F., Rosso P., Potthast M., Stein B., Daelemans W. (2015). Overview of the 3rd Author Profiling Task at PAN 2015. In: Cappellato L., Ferro N., Jones G., San Juan E. (Eds.) CLEF 2015 Labs and Workshops, Notebook Papers. CEUR Workshop Proceedings. CEUR-WS.org, vol. 1391

https://www.uni-weimar.de/medien/webis/events/pan-15/pan15-papers-final/pan15-author-profiling/rangel15-overview.pdf [PDF]
Volumen de publicación

vol. 1391, CEUR-WS.org (153 citas a 15/10/2018)
Gestión web de usuarios

Sí
Atención a participantes

Email: pan@webis.de

Google Groups