TASS 2012 - Sentiment Analysis

Compartir

Campaña

Nombre de la campaña

TASS 2012 @ SEPLN
Nombre de la tarea

Task 1: Sentiment Analysis
Tipo de tarea

Tarea de análisis de sentimiento
Descripción de la tarea

Esta tarea consiste en realizar un análisis automático de opiniones para determinar la polaridad de cada mensaje en el corpus de prueba. 
Categoría de la tarea

Procesamiento del lenguaje natural
Fecha evento / edición

2012
Organizadores
  • Julio Villena-Román, Daedalus, España
  • Cristina Moreno-García, Daedalus, España
  • Janine García-Morera, Daedalus, España
  • Linda Ferrer-Ureña, Daedalus, España
  • Sara Lana-Serrano, Universidad Politécnica de Madrid, España
  • José Carlos González-Cristóbal, Universidad Politécnica de Madrid, España
  • Adam Westerski, Universidad Politécnica de Madrid, España
  • L. Alfonso Ureña-López, Universidad de Jaén, España
  • Miguel Ángel García-Cumbreras, Universidad de Jaén, España
  • María-Teresa Martín-Valdivia, Universidad de Jaén, España
  • Eugenio Martínez-Cámara, Universidad de Jaén, España
Grupos destinatarios

Abierto a quien quiera participar: grupos de investigación académicos y de la industria. Han participado Elhuyar Fundazioa e IMDEA.
Elegibilidad

Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales). 
Calendario
  • 21/05/2012: Datos de entrenamiento
  • 04/06/2012: Datos de prueba
  • 01/07/ 2012: Registro a la tarea
  • 20/07/2012: Envío sistemas
  • 25/07/2012: Notificación de resultados
  • 19/08/2012: Envío de artículos
  • 07/09/2012: Taller
Número de participantes

8 equipos
Número de participantes de España

7
Dominio

Tweets escritos por celebridades del mundo de la política, la economía, la comunicación, los medios de comunicación y la cultura
Idiomas

Español

Datos

Datos de entrenamiento

Formato XML
Derecho de redistribución de datos

Sólo para investigación
Enlace a datasets

http://www.sepln.org/workshops/tass/2012/corpus.php

Resultados

Métrica de evaluación

Las métricas de evaluación para evaluar y comparar los diferentes sistemas son las mediciones habituales de precisión, cobertura  y medida F1 calculadas sobre el conjunto completo de pruebas.
Rendimiento
  • F1 (5 levels): 0,65
  • F1 (3 levels): 0,71
Disponibilidad del código

Los resultados detallados de cada ejecución, los archivos de evaluación de relevancia (las etiquetas correctas para el conjunto de prueba) y un script PHP para realizar su propia evaluación se pueden encontrar en la sección de Descargas de la página de descripción del corpus.
Tipo de ejecución

Local
Número total de resultados enviados

34
Resultados con los rankings

Villena-Román, Julio, García-Morera, Janine, Moreno-García, Cristina, Ferrer-Ureña, Linda, Serrano, Sara, Gonzalez-Cristobal, Jose, Westerski, Adam, Martínez-Cámara, Eugenio, García-Cumbreras, Miguel & Martín-Valdivia, Maria & López, L. (2012). TASS-Workshop on Sentiment Analysis at SEPLN. / Taller de Análisis de Sentimientos en la SEPLN. Rafael Berlanga, Ismael Sanz y María Pérez (Eds) "XVIII CONGRESO DE LA SOCIEDAD ESPAÑOLA PARA EL PROCESAMIENTO DEL LENGUAJE NATURAL", Col.lecció e-Treballs d’Informàtica i Tecnologia Núm. 12, Ed. Universitat Jaume I, ISBN: 978-84-8021-889-4.

Villena Román, Julio, Lana Serrano, Sara, Martínez Cámara, Eugenio, González Cristóbal, José Carlos TASS - Workshop on Sentiment Analysis at SEPLN. Procesamiento del Lenguaje Natural. N. 50 (2013), pp. 37-44.

http://journal.sepln.org/sepln/ojs/ojs/index.php/pln/article/view/4657/2759 
Volumen de publicación

Procesamiento del Lenguaje Natural. N. 50 (2013). ISSN 1135-5948
Gestión web de usuarios

Sí
Atención a participantes

Email: tass@daedalus.es