TASS 2013 - Sentiment Analysis at entity level

Campaña

Nombre de la campaña

TASS 2013 @ SEPLN

Nombre de la tarea

Task 3: Sentiment Analysis at entity level

Tipo de tarea

Tarea de análisis de sentimiento

Descripción de la tarea

Esta tarea consiste en realizar un análisis automático de sentimientos, similar a la Tarea 1, pero  la polaridad se determina a nivel de entidad (utilizando 3 niveles de polaridad) de cada mensaje en el corpus de Política. 

Categoría de la tarea

Procesamiento del lenguaje natural

Fecha evento / edición

2013

Organizadores
  • Julio Villena-Román, Daedalus, España
  • Janine García-Morera, Daedalus, España
  • José Carlos González-Cristóbal, Universidad Politécnica de Madrid, España
  • L. Alfonso Ureña-López, Universidad de Jaén, España
  • Miguel Ángel García-Cumbreras, Universidad de Jaén, España
  • María-Teresa Martín-Valdivia, Universidad de Jaén, España
  • Eugenio Martínez-Cámara, Universidad de Jaén, España
Grupos destinatarios

Abierto a quien quiera participar: grupos de investigación académicos y de la industria. Han participado CITIUS-Cilenis.

Elegibilidad

Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales). 

Calendario
  • 03/06/2013: Datos de entrenamiento
  • 15/06/2013: Datos de test
  • 01/07/2013: Fecha límite de inscripción para las tareas
  • 15/07/2013: Envío de los resultados
  • 02/08/2013: Resultados de la evaluación
  • 01/09/ 2013: Envío de los trabajos
  • 20/09/2013: Taller
Número de participantes

4 equipos

Número de participantes de España

3

Dominio

El corpus de Política contiene 2500 tweets, reunidos durante la campaña electoral de las elecciones generales de 2011 en España (Elecciones a Cortes Generales de 2011), de mensajes de Twitter que mencionan cualquiera de los cuatro principales partidos políticos a nivel nacional: el Partido Popular (PP), Partido Socialista Obrero Español (PSOE), Izquierda Unida (IU) y Unión, Progreso y Democracia (UPyD).

Idiomas

Español

Datos

Datos de entrenamiento

Formato XML

Derecho de redistribución de datos

Sólo para investigación

Enlace a datasets

http://www.sepln.org/workshops/tass/2013/corpus.php

Resultados

Métrica de evaluación

Las métricas de evaluación para evaluar y comparar los diferentes sistemas son las mediciones habituales de precisión, cobertura y medida F1 calculadas sobre el conjunto completo de pruebas.

Rendimiento
  • F1 : 0.39
Disponibilidad del código

Los resultados detallados de cada ejecución, los archivos de evaluación de relevancia (las etiquetas correctas para el conjunto de prueba) y un script PHP para realizar su propia evaluación se pueden encontrar aquí

Tipo de ejecución

Local

Número total de resultados enviados

6

Resultados con los rankings

Julio Villena-Román, Janine García-Morera. TASS 2013 - Workshop on Sentiment Analysis at SEPLN 2013: An overview. In Proceedings of the TASS workshop at SEPLN.

http://www.sepln.org/workshops/tass/2013/papers/tass2013-overview.pdf [PDF]

Julio Villena-Román, Janine García-Morera, Sara Lana-Serrano, José Carlos González-Cristóbal. TASS 2013 - A Second Step in Reputation Analysis in Spanish. Procesamiento del Lenguaje Natural. N. 52 (2014), pp. 37-44.

http://journal.sepln.org/sepln/ojs/ojs/index.php/pln/article/view/4657/2759

Volumen de publicación

Procesamiento del Lenguaje Natural. N. 52 (2014). ISSN 1135-5948

Gestión web de usuarios

Atención a participantes

Email: tass@daedalus.es