Campañas de evaluación

Con el objetivo de publicar un catálogo de campañas de evaluación en el ámbito de TL, se ha realizado una recopilación exhaustiva de las campañas de evaluación más relevantes del sector, tanto nacionales como internacionales.

Para información más detallada del estudio desarrollado por Paolo Rosso, Francisco Rangel, Francisco Casacuberta y Carlos David Martínez, en el marco del cual que se ha realizado esta recopilación, puede consultar el apartado “Campañas de evaluación sobre infraestructuras lingüísticas”.

Las principales tareas identificadas se pueden agrupar en las siguientes categorías:

La siguiente tabla resume las campañas y tareas principales de cada uno de los grupos mencionados:

Tareas de identificación y perfilado de autores y plagio

Identificación de autores, perfilado de autores y de detección de plagio

Identificación de autores

PAN 2013

PAN 2014

PAN 2015

PAN 2018

Perfilado de autores

PAN 2013

PAN 2014

PAN 2015

PAN 2016

PAN 2017

PAN 2018

Detección de plagio

PAN 2009

PAN 2010

PAN 2011

PAN 2012


Procesamiento del lenguaje natural, Análisis de sentimientos

Análisis de sentimientos e identificación de emociones y de posicionamiento

Identificación de emociones

SemEval 2018 - Affect Twitter

SemEval 2018 - Emoji

Análisis de sentimiento

TASS 2012 - SA

TASS 2012 - Trending Topic Coverage

TASS 2013 - Political Tendency

TASS 2013, TASS 2014, TASS 2015, TASS 2016, TASS 2017

SA Global Level

NEGES 2018 - SA

TASS 2013 - SA Entity Level

TASS 2014 - Aspect Detection

TASS 2018 - Emotion Categorization in News

TASS 2014, TASS 2015, TASS 2016, TASS 2017, TASS 2018

Aspect SA

TASS 2018 - SA Twitter

Posicionamiento

Ibereval 2017- stanceCat

Ibereval 2018 - MultiStanceCat


otras tareas de procesamiento del lenguaje natural
Otras tareas de PLN y lingüística computacional
Anotación

NEGES 2018 - Guías de anotación

NEGES 2018 - Claves de negación

NAACL 2018 - Complex Words

COLING 2018 - Verbal Multiword Expression

SemEval 2007

Procesamiento de textos biomédicos

IberEval 2017 - BARR

TASS 2018 - eHealth

IberEval 2018 - BARR2

IberEval 2018 - DIANN

Reconocimiento de entidades nombradas (Named Entity Recognition)

SemEval 2018 - Hypernym Discovery

Reconocimiento

CONLL 2002

Semántica, tareas sintácticas y segmentación

CONLL 2009

SPMRL 2014

SPMRL 2013

MLP 2017

Clasificación de textos

TASS 2013, TASS 2014

Topic Classication

UCNLP 2017 - Customer Feedback Analysis

Ibereval 2018 - HAHA

Ibereval 2018 - AMI

EMNLP 2017 - Native Language Identification

Ibereval 2017 - COSET

Ibereval 2018 - MEX A3T

Similitud textual

SemEval 2014

SemEval 2017 - textual

SemEval 2017 - word

Desambigüación lexicosemántica

IberEval 2017 - M-WePNaD

Senseval 2001, Senseval 2004

Lexical Sampling


Tareas de traducción automática
Tareas de traducción automática
Pos-edición automática

WMT 2015

WMT 2016

Traducción en el dominio biomédico

WMT 2016

WMT 2017

WMT 2018

Métricas de evaluación

WMT 2012

Traducción automática en el dominio TIC

WMT 2013

WMT 2016

Estimación de calidad

WMT 2012

WMT 2013

WMT 2014

WMT 2015

WMT 2016

Traducción automática estadística y sistemas híbridos

IWSLT 2008

IWSLT 2013

IWSLT 2014

WPT 2005

WMT 2006

WMT 2007

WMT 2008

WMT 2009

WMT 2010

WMT 2011

WMT 2012

WMT 2013


Tareas de sistemas conversacionales
Tareas de sistemas conversacionales y reconocimiento del habla
Segmentación de audio

iberSPEECH 2014

Diarización multimodal

iberSPEECH 2018

Búsqueda en el habla

iberSPEECH 2014

iberSPEECH 2016

iberSPEECH 2018

Diarización de locutores

iberSPEECH 2016

iberSPEECH 2018

Voz a texto

iberSPEECH 2018

Para incluir nuevas campañas y tareas del ámbito de tecnologías del lenguaje al catálogo, se deberá remitir un mail a plantecnologiaslenguaje@mineco.es con asunto “Alta en Catálogo Campañas Evaluación TL”, rellenando la siguiente plantilla [PDF] [584.76 kB] con los metadatos principales de los que se disponga.