THIRD CALL FOR PARTICIPATION - IberLEF 2025 - PRESTA: Questions and Answers
about Tables in Spanish
*Web*: https://www.codabench.org/competitions/5538/
We are pleased to announce the first IberLEF task on Question Answering on
Tabular Data: PRESTA.
The PRESTA shared-task consists of Question Answering over Tabular Data
making use of the DataBenchSPA benchmark. DataBenchSPA is a benchmark
composed of real-world table datasets from different domains and with large
size of rows and columns, as well as a wide variety of data types that
allow to assess distinct sort of questions related to each data type.
We propose a task to encourage participants to develop a system that
answers the questions of the kind present in DataBenchSPA over day-to-day
datasets, where the answer is either a number, a categorical value, a
boolean value or lists of several types. DataBenchSPA can be used as a
training and validation set, while we will release another test set
explicitly compiled for the task competition.
The system developed by the participants will be provided by a series of
(dataset, question) pairs and will need to provide an answer which would
then be compared with a gold standard.
The answer might be achieved through a variety of methods. In our paper [1]
we illustrate two different approaches: In-Context Learning and Code
Generation. You may use any of these or come up with your own approach.
There will be two subtasks:
Subtask I : DataBenchSPA QA
Participants will be provided with a dataset (of any size) and a question
over it. The question should be answered using the data from the dataset
only.
Subtask II: DataBenchSPA Lite QA
The task is essentially the same as the previous subtask, but involves
using the sampled version of each dataset with a maximum of 20 rows per
dataset. The question should be answered using the data from the sampled
dataset only. For the test set, we will similarly provide a reduced version
of each dataset for this subtask. This task is especially relevant when
testing for models with a smaller window size.
Important Dates
Release of training data: 18 March 2025
Release of test data - competition starts: 30 April 2025
Submission of the results - competition ends: 12 May 2025
Submission of the description paper: 30 May 2025
Task Organizers
Jorge Osés Grijalba - Graphext
L. Alfonso Ureña-López - University of Jaén
Eugenio Martínez Cámara - University of Jaén
Jose Camacho-Collados - Cardiff University
Codabench: https://www.codabench.org/competitions/5538/
--
Suelo trabajar a deshoras por lo que este correo puede haberte llegado
fuera de tu horario laboral, y al cual puedes responder en el momento que
mejor se ajuste a tus hábitos de trabajo. | I sometimes work at irregular
times and this email might arrive out of working hours so please be assured
that I respect your working pattern and look forward to your response when
it suits you.
[image: Universidad de Jaén]
https://www.ujaen.es/ Eugenio Martínez Cámara
Vicepresidente de la SEPLN
http://www.sepln.org/ | Vice President of the
SEPLN
http://www.sepln.org/en.
Profesor Titular de Universidad | Associate Professor.
Investigador en Proc. del Lenguaje Natural | Postdoctoral Researcher in
Natural Language Proc.
Grupo de Investigación SINAI
http://sinai.ujaen.es/ | SINAI
http://sinai.ujaen.es/ Research Group.
emcamara@ujaen.es
Código ORCID:0000-0002-5279-8355
http://orcid.org/0000-0002-5279-8355
Universidad de Jaén
Dpto. de Informática | Computer Science Department.
Edificio A3, despacho 145
| +34 953212883
https://www.ujaen.es/servicios/sinformatica/sites/servicio_sinformatica/files/piefirmacorreo4/index.html
[image: Universidad de Jaén]
https://www.ujaen.es/
Este mensaje y los ficheros anexos son confidenciales dirigiéndose
exclusivamente al destinatario mencionado en el encabezamiento. Los mismos
contienen información reservada que no puede ser difundida. Si usted ha
recibido este correo por error, tenga la amabilidad de eliminarlo de su
sistema y avisar al remitente mediante reenvío a su dirección electrónica;
no deberá copiar el mensaje ni divulgar su contenido a ninguna persona.
Los datos personales facilitados por usted o por terceros serán tratados
por UNIVERSIDAD DE JAÉN, con la finalidad de gestionar y mantener los
contactos y relaciones que se produzcan como consecuencia de la relación
que mantiene con UJA. Normalmente, la base jurídica que legitima este
tratamiento, será su consentimiento, el interés legítimo o la necesidad
para gestionar una relación contractual o similar. El plazo de conservación
de sus datos vendrá determinado por la relación que mantiene con nosotros.
Para más información al respecto, o para ejercer sus derechos de acceso,
rectificación, cancelación/supresión, oposición, limitación o portabilidad,
dirija una comunicación por escrito a UNIVERSIDAD DE JAÉN, Campus Las
Lagunillas s/n. 23071 – Jaén, o a nuestro delegado de protección de datos [
dpo@ujaen.es]. En caso de considerar vulnerado su derecho a la protección
de datos personales, podrá interponer una reclamación ante el Consejo
Andaluz de Transparencia y Protección de Datos (www.ctpdandalucia.es).
Asimismo, es su responsabilidad comprobar que este mensaje o sus archivos
adjuntos no contengan virus informáticos, y en caso que los tuvieran
eliminarlos.
