PAN 2018 - Perfilado de autores
Campaña
| Nombre de la campaña | ||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Nombre de la tarea |
Author Profiling: Multi-Modal Gender Identification in Twitter |
|||||||||||||||||||
| Tipo de tarea |
Evaluación de sistemas de clasificación automática (sexo) |
|||||||||||||||||||
| Descripción de la tarea |
Dado un texto escrito en Twitter más 10 imágenes del timeline del usuario, la tarea consiste en identificar de manera automática el sexo de su autor. |
|||||||||||||||||||
| Categoría de la tarea |
Procesamiento del lenguaje natural |
|||||||||||||||||||
| Fecha evento / edición |
2018 - https://pan.webis.de/clef18/pan18-web/author-profiling.html |
|||||||||||||||||||
| Organizadores |
|
|||||||||||||||||||
| Grupos destinatarios |
Abierto a quien quiera participar: han participado grupos de investigación académicos y de la industria |
|||||||||||||||||||
| Elegibilidad |
Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales). Hay un control de calidad en los working notes presentados (peer review) |
|||||||||||||||||||
| Calendario |
|
|||||||||||||||||||
| Número de participantes |
23 equipos (~70 personas) |
|||||||||||||||||||
| Número de participantes de España |
1 personas en 1equipos |
|||||||||||||||||||
| Dominio |
Twitter sin acotar a un dominio concreto. |
|||||||||||||||||||
| Idiomas |
|
|||||||||||||||||||
Datos
| Datos de entrenamiento | ||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Autores en árabe | 1500 | |||||||||||||||||||
| Autores en inglés | 3000 | |||||||||||||||||||
| Autores en español | 3000 | |||||||||||||||||||
|
Distribuido como XML |
||||||||||||||||||||
| Derecho de redistribución de datos |
Sólo para investigación |
|||||||||||||||||||
| Enlace a datasets | ||||||||||||||||||||
Resultados
| Métrica de evaluación |
Accuracy |
|||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Rendimiento | ||||||||||||||||||||
| Sexo con texto |
Árabe: 81,70% Inglés: 82,21% Español: 82,00% |
|||||||||||||||||||
| Sexo con imágenes |
Árabe: 72,20% Inglés: 81,63% Español: 77,32% |
|||||||||||||||||||
| Combinado texto e imágenes |
Árabe: 81,80% Inglés: 85,84% Español: 82,00% |
|||||||||||||||||||
| Disponibilidad del código |
En algunos casos los participantes proporcionaron su código fuente vía GitHub (especificado en sus working notes) |
|||||||||||||||||||
| Tipo de ejecución |
Remoto - A los participantes se les facilita el acceso a una máquina virtual para la evaluación del entorno TIRA |
|||||||||||||||||||
| Número total de resultados enviados |
103 |
|||||||||||||||||||
| Resultados con los rankings |
Rangel F., Rosso P., Montes-y-Gómez M., Potthast M., Stein B. Overview of the 6th Author Profiling Task at PAN 2018: Multimodal Gender Identification in Twitter. CLEF 2018 Labs and Workshops, Notebook Papers. CEUR Workshop Proceedings. CEUR-WS.org, vol. 2125. |
|||||||||||||||||||
| Volumen de publicación |
vol. 2125, CEUR-WS.org (25 citas a 15/10/2018) |
|||||||||||||||||||
| Gestión web de usuarios |
Sí |
|||||||||||||||||||
| Atención a participantes |
Email: pan@webis.de Google Groups |
|||||||||||||||||||