Iberlef2025: PRESTA Task Call for Participation - Corpora

18 Mar 2025

      [apologies if you receive multiple copies of this call]
[Spanish version below]
CALL FOR PARTICIPATION - IberLEF 2025 - PRESTA: Questions and Answers about
Tables in Spanish
We are pleased to announce the first IberLEF task on Question Answering on
Tabular Data: PRESTA.
The PRESTA shared-task consists of Question Answering over Tabular Data
making use of the DataBenchSPA benchmark. DataBenchSPA is a benchmark
composed of real-world table datasets from different domains and with large
size of rows and columns, as well as a wide variety of data types that
allow to assess distinct sort of questions related to each data type.
We propose a task to encourage participants to develop a system that
answers the questions of the kind present in DataBenchSPA over day-to-day
datasets, where the answer is either a number, a categorical value, a
boolean value or lists of several types. DataBenchSPA can be used as a
training and validation set, while we will release another test set
explicitly compiled for the task competition.
The system developed by the participants will be provided by a series of
(dataset, question) pairs and will need to provide an answer which would
then be compared with a gold standard.
The answer might be achieved through a variety of methods. In our paper [1]
we illustrate two different approaches: In-Context Learning and Code
Generation. You may use any of these or come up with your own approach.
There will be two subtasks:
Subtask I : DataBenchSPA QA
Participants will be provided with a dataset (of any size) and a question
over it. The question should be answered using the data from the dataset
only.
Subtask II: DataBenchSPA Lite QA
The task is essentially the same as the previous subtask, but involves
using the sampled version of each dataset with a maximum of 20 rows per
dataset. The question should be answered using the data from the sampled
dataset only. For the test set, we will similarly provide a reduced version
of each dataset for this subtask. This task is especially relevant when
testing for models with a smaller window size.
Important Dates
Release of training data: 18 March 2025
Release of test data - competition starts: 30 April 2025
Submission of the results - competition ends: 12 May 2025
Submission of the description paper: 30 May 2025
Task Organizers
Jorge Osés Grijalba - Graphext
L. Alfonso Ureña-López - University of Jaén
Eugenio Martínez Cámara - University of Jaén
Jose Camacho-Collados - Cardiff University
Codabench: https://www.codabench.org/competitions/5538/
Google Group: CREAR POR JORGE
[Spanish version]
CONVOCATORIA DE PARTICIPACIÓN EN - IberLEF 2025 - PRESTA: PREGUNTAS Y
RESPUESTAS SOBRE TABLAS EN ESPAÑOL
Anunciamos por primera vez en IberLEF una tarea competitiva sobre
recuperación de respuestas sobre sobre datos tabulares, en particular la
tarea PRESTA: Preguntas y Respuestas sobre Tablas en Español.
La tarea PRESTA consiste en responder preguntas sobre datos tabulares
utilizando como fuente de información el conjunto de datos DataBenchSPA.
DataBenchSPA está compuesto por conjuntos de datos de tablas del mundo real
de diferentes dominios y con un gran tamaño de filas y columnas, así como
una amplia variedad de tipos de datos que permiten evaluar distintos tipos
de preguntas relacionadas con cada tipo de datos.
Animamos a los participantes a desarrollar un sistema que responda
preguntas del tipo presentes en DataBenchSPA sobre conjuntos de datos del
día a día, donde la respuesta puede ser un número, un valor categórico, un
valor booleano o listas de varios tipos. DataBenchSPA se puede utilizar
como conjunto de entrenamiento y validación, mientras que lanzaremos otro
conjunto de prueba compilado explícitamente para la competencia de tareas.
El sistema desarrollado por los participantes estará compuesto por una
serie de pares (conjunto de datos, preguntas) y deberá proporcionar una
respuesta que luego se comparará con un respuesta de referencia.
La respuesta podría lograrse mediante una variedad de métodos. En nuestro
artículo [1] ilustramos dos enfoques diferentes: aprendizaje en contexto y
generación de código. Puede utilizar cualquiera de estos o crear su propio
enfoque.
Subtareas:
Subtarea I: DataBenchSPA completo
Los participantes recibirán un conjunto de datos (de cualquier tamaño) y
una pregunta sobre él. La pregunta debe responderse utilizando únicamente
los datos del conjunto de datos.
Subtarea II: DataBenchSPA Reducido
La tarea es esencialmente la misma que la subtarea anterior, pero implica
utilizar la versión muestreada de cada conjunto de datos con un máximo de
20 filas por conjunto de datos. La pregunta debe responderse utilizando
únicamente los datos del conjunto de datos muestreado. Para el conjunto de
prueba, proporcionaremos de manera similar una versión reducida de cada
conjunto de datos para esta subtarea. Esta tarea es especialmente relevante
cuando se prueban modelos con un tamaño de contexto más pequeño.
Fechas Importantes
Publicación de datos de entrenamiento: 18 de marzo de 2025
Publicación de datos de prueba - inicio de la competición: 30 de abril de
2025
Envío de resultados - finalización de la competición: 12 de mayo de 2025
Presentación del artículo de descripción del sistema: 30 de mayo de 2025
Organizadores de tareas
Jorge Osés Grijalba - Graphext
L. Alfonso Ureña-López - Universidad de Jaén
Eugenio Martínez Cámara - University of Jaén
Jose Camacho-Collados - Cardiff University
CodaBench: https://www.codabench.org/competitions/5538/
Grupo de Google: CREAR POR JORGE
-- 
Suelo trabajar a deshoras por lo que este correo puede haberte llegado
fuera de tu horario laboral, y al cual puedes responder en el momento que
mejor se ajuste a tus hábitos de trabajo. | I sometimes work at irregular
times and this email might arrive out of working hours so please be assured
that I respect your working pattern and look forward to your response when
it suits you.

[image: Universidad de Jaén] https://www.ujaen.es/ Eugenio Martínez Cámara
Vicepresidente de la SEPLN http://www.sepln.org/ | Vice President of the
SEPLN http://www.sepln.org/en.
Profesor Titular de Universidad | Associate Professor.
Investigador en Proc. del Lenguaje Natural | Postdoctoral Researcher in
Natural Language Proc.
Grupo de Investigación SINAI http://sinai.ujaen.es/ | SINAI
http://sinai.ujaen.es/ Research Group.

emcamara@ujaen.es
Código ORCID:0000-0002-5279-8355 http://orcid.org/0000-0002-5279-8355
Universidad de Jaén
Dpto. de Informática | Computer Science Department.
Edificio A3, despacho 145
| +34 953212883
https://www.ujaen.es/servicios/sinformatica/sites/servicio_sinformatica/files/piefirmacorreo4/index.html

[image: Universidad de Jaén] https://www.ujaen.es/
Este mensaje y los ficheros anexos son confidenciales dirigiéndose
exclusivamente al destinatario mencionado en el encabezamiento. Los mismos
contienen información reservada que no puede ser difundida. Si usted ha
recibido este correo por error, tenga la amabilidad de eliminarlo de su
sistema y avisar al remitente mediante reenvío a su dirección electrónica;
no deberá copiar el mensaje ni divulgar su contenido a ninguna persona.

Los datos personales facilitados por usted o por terceros serán tratados
por UNIVERSIDAD DE JAÉN, con la finalidad de gestionar y mantener los
contactos y relaciones que se produzcan como consecuencia de la relación
que mantiene con UJA. Normalmente, la base jurídica que legitima este
tratamiento, será su consentimiento, el interés legítimo o la necesidad
para gestionar una relación contractual o similar. El plazo de conservación
de sus datos vendrá determinado por la relación que mantiene con nosotros.

Para más información al respecto, o para ejercer sus derechos de acceso,
rectificación, cancelación/supresión, oposición, limitación o portabilidad,
dirija una comunicación por escrito a UNIVERSIDAD DE JAÉN, Campus Las
Lagunillas s/n. 23071 – Jaén, o a nuestro delegado de protección de datos [
dpo@ujaen.es]. En caso de considerar vulnerado su derecho a la protección
de datos personales, podrá interponer una reclamación ante el Consejo
Andaluz de Transparencia y Protección de Datos (www.ctpdandalucia.es).

Asimismo, es su responsabilidad comprobar que este mensaje o sus archivos
adjuntos no contengan virus informáticos, y en caso que los tuvieran
eliminarlos.