Last Days - SemEval 2025 Task 8: Question Answering on Tabular Data
The TabularQA task of SemEval 2025 (task 8) is entering in ist final
stretch, there are only *seven days left* for the development stage of the
task ends. So, if you are interested in exploring the emergent capability
of LLMs of answering questions from tabular data, we encourage you to use
these *seven days* to prepare your set-up and participate in the shared
task.
We remind that we propose the following two subtasks:
*Subtask I : DataBench QA*
Participants will be provided with a dataset (of any size) and a question
over it. The question should be answered using the data from the dataset
only.
*Subtask II: DataBench Lite QA*
The task is essentially the same as the previous subtask, but involves
using the sampled version of each dataset with a maximum of 20 rows per
dataset (see explanation on DataBench Lite). The question should be
answered using the data from the sampled dataset only. For the test set, we
will similarly provide a reduced version of each dataset for this subtask.
This task is especially relevant when testing for models with a smaller
window size.
Important Dates
Official Competition start 10 January 2025
Competition end 31 January 2025
Task Organizers
Jorge Osés Grijalba - Graphext
L. Alfonso Ureña-López and Eugenio Martínez Cámara - University of Jaén
Jose Camacho-Collados - Cardiff University
Competition website: https://jorses.github.io/semeval/
Codabench: https://www.codabench.org/competitions/3360/
Google Group: https://groups.google.com/g/semeval-25-t8-tabularqaImportant
Dates
Official Competition start 10 January 2025
Competition end 31 January 2025
*Task Organizers*
Jorge Osés Grijalba - Graphext
L. Alfonso Ureña-López - Universidad de Jaén
Eugenio Martínez Cámara - Universidad de Jaén
Jose Camacho-Collados - Cardiff University
*Competition website*: https://jorses.github.io/semeval/
*Codabench*: https://www.codabench.org/competitions/3360/
*Google Group*: https://groups.google.com/g/semeval-25-t8-tabularqa
*News*: https://x.com/semeval_tableQA
Kind regards,
The organisers.
--
Suelo trabajar a deshoras por lo que este correo puede haberte llegado
fuera de tu horario laboral, y al cual puedes responder en el momento que
mejor se ajuste a tus hábitos de trabajo. | I sometimes work at irregular
times and this email might arrive out of working hours so please be assured
that I respect your working pattern and look forward to your response when
it suits you.
[image: Universidad de Jaén]
https://www.ujaen.es/ Eugenio Martínez Cámara
Vicepresidente de la SEPLN
http://www.sepln.org/ | Vice President of the
SEPLN
http://www.sepln.org/en.
Profesor Titular de Universidad | Associate Professor.
Investigador en Proc. del Lenguaje Natural | Postdoctoral Researcher in
Natural Language Proc.
Grupo de Investigación SINAI
http://sinai.ujaen.es/ | SINAI
http://sinai.ujaen.es/ Research Group.
emcamara@ujaen.es
Código ORCID:0000-0002-5279-8355
http://orcid.org/0000-0002-5279-8355
Universidad de Jaén
Dpto. de Informática | Computer Science Department.
Edificio A3, despacho 145
| +34 953212883
https://www.ujaen.es/servicios/sinformatica/sites/servicio_sinformatica/files/piefirmacorreo4/index.html
[image: Universidad de Jaén]
https://www.ujaen.es/
Este mensaje y los ficheros anexos son confidenciales dirigiéndose
exclusivamente al destinatario mencionado en el encabezamiento. Los mismos
contienen información reservada que no puede ser difundida. Si usted ha
recibido este correo por error, tenga la amabilidad de eliminarlo de su
sistema y avisar al remitente mediante reenvío a su dirección electrónica;
no deberá copiar el mensaje ni divulgar su contenido a ninguna persona.
Los datos personales facilitados por usted o por terceros serán tratados
por UNIVERSIDAD DE JAÉN, con la finalidad de gestionar y mantener los
contactos y relaciones que se produzcan como consecuencia de la relación
que mantiene con UJA. Normalmente, la base jurídica que legitima este
tratamiento, será su consentimiento, el interés legítimo o la necesidad
para gestionar una relación contractual o similar. El plazo de conservación
de sus datos vendrá determinado por la relación que mantiene con nosotros.
Para más información al respecto, o para ejercer sus derechos de acceso,
rectificación, cancelación/supresión, oposición, limitación o portabilidad,
dirija una comunicación por escrito a UNIVERSIDAD DE JAÉN, Campus Las
Lagunillas s/n. 23071 – Jaén, o a nuestro delegado de protección de datos [
dpo@ujaen.es]. En caso de considerar vulnerado su derecho a la protección
de datos personales, podrá interponer una reclamación ante el Consejo
Andaluz de Transparencia y Protección de Datos (www.ctpdandalucia.es).
Asimismo, es su responsabilidad comprobar que este mensaje o sus archivos
adjuntos no contengan virus informáticos, y en caso que los tuvieran
eliminarlos.