TASS 2013 - Sentiment Analysis at entity level

Compartir

Campaña

Nombre de la campaña

TASS 2013 @ SEPLN
Nombre de la tarea

Task 3: Sentiment Analysis at entity level
Tipo de tarea

Tarea de análisis de sentimiento
Descripción de la tarea

Esta tarea consiste en realizar un análisis automático de sentimientos, similar a la Tarea 1, pero  la polaridad se determina a nivel de entidad (utilizando 3 niveles de polaridad) de cada mensaje en el corpus de Política. 
Categoría de la tarea

Procesamiento del lenguaje natural
Fecha evento / edición

2013
Organizadores
  • Julio Villena-Román, Daedalus, España
  • Janine García-Morera, Daedalus, España
  • José Carlos González-Cristóbal, Universidad Politécnica de Madrid, España
  • L. Alfonso Ureña-López, Universidad de Jaén, España
  • Miguel Ángel García-Cumbreras, Universidad de Jaén, España
  • María-Teresa Martín-Valdivia, Universidad de Jaén, España
  • Eugenio Martínez-Cámara, Universidad de Jaén, España
Grupos destinatarios

Abierto a quien quiera participar: grupos de investigación académicos y de la industria. Han participado CITIUS-Cilenis.
Elegibilidad

Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales). 
Calendario
  • 03/06/2013: Datos de entrenamiento
  • 15/06/2013: Datos de test
  • 01/07/2013: Fecha límite de inscripción para las tareas
  • 15/07/2013: Envío de los resultados
  • 02/08/2013: Resultados de la evaluación
  • 01/09/ 2013: Envío de los trabajos
  • 20/09/2013: Taller
Número de participantes

4 equipos
Número de participantes de España

3
Dominio

El corpus de Política contiene 2500 tweets, reunidos durante la campaña electoral de las elecciones generales de 2011 en España (Elecciones a Cortes Generales de 2011), de mensajes de Twitter que mencionan cualquiera de los cuatro principales partidos políticos a nivel nacional: el Partido Popular (PP), Partido Socialista Obrero Español (PSOE), Izquierda Unida (IU) y Unión, Progreso y Democracia (UPyD).
Idiomas

Español

Datos

Datos de entrenamiento

Formato XML
Derecho de redistribución de datos

Sólo para investigación
Enlace a datasets

http://www.sepln.org/workshops/tass/2013/corpus.php

Resultados

Métrica de evaluación

Las métricas de evaluación para evaluar y comparar los diferentes sistemas son las mediciones habituales de precisión, cobertura y medida F1 calculadas sobre el conjunto completo de pruebas.
Rendimiento
  • F1 : 0.39
Disponibilidad del código

Los resultados detallados de cada ejecución, los archivos de evaluación de relevancia (las etiquetas correctas para el conjunto de prueba) y un script PHP para realizar su propia evaluación se pueden encontrar aquí. 
Tipo de ejecución

Local
Número total de resultados enviados

6
Resultados con los rankings

Julio Villena-Román, Janine García-Morera. TASS 2013 - Workshop on Sentiment Analysis at SEPLN 2013: An overview. In Proceedings of the TASS workshop at SEPLN.

http://www.sepln.org/workshops/tass/2013/papers/tass2013-overview.pdf [PDF]

Julio Villena-Román, Janine García-Morera, Sara Lana-Serrano, José Carlos González-Cristóbal. TASS 2013 - A Second Step in Reputation Analysis in Spanish. Procesamiento del Lenguaje Natural. N. 52 (2014), pp. 37-44.

http://journal.sepln.org/sepln/ojs/ojs/index.php/pln/article/view/4657/2759

Volumen de publicación

Procesamiento del Lenguaje Natural. N. 52 (2014). ISSN 1135-5948
Gestión web de usuarios

Sí
Atención a participantes

Email: tass@daedalus.es