[공지사항]을 빙자한 안부와 근황 
Show more

Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

MRT at IberLEF-2025 PRESTA Task: Maximizing Recovery from Tables with Multiple Steps

Created by
  • Haebom

저자

Maximiliano Hormazabal Lagos, Alvaro Bueno Saez, Hector Cerezo-Costas, Pedro Alonso Doval, Jorge Alcalde Vesteiro

개요

본 논문은 IberLEF 2025 Task PRESTA (스페인어 표에 대한 질문과 답변)에 대한 접근 방식을 제시합니다. LLM을 이용한 Python 코드 생성을 통해 표를 필터링하고 처리하여 질문에 대한 답을 얻는 솔루션을 제시하며, Semeval 2025 관련 작업을 위한 MRT 구현에서 발전된 것입니다. 표 내용 분석 및 이해, 유용한 열 선택, 자연어로 된 지시 사항 생성, 코드로 변환, 실행, 오류 처리 등 여러 단계로 구성되며, 각 단계에 대해 최적화된 프롬프트를 사용하는 오픈소스 LLM을 활용합니다. 이 접근 방식으로 85%의 정확도를 달성했습니다.

시사점, 한계점

시사점: LLM을 활용한 코드 생성 기반의 표 질의응답 시스템의 효용성을 보여줌. 오픈소스 LLM과 최적화된 프롬프트를 사용하여 높은 정확도 달성 가능성 제시. 다양한 언어(스페인어)에 대한 확장성 확인.
한계점: 구체적인 LLM 모델이나 프롬프트 최적화 전략에 대한 자세한 설명 부족. 오류 처리 및 예외 처리 과정에 대한 상세한 설명 부족. 85%의 정확도가 특정 데이터셋에 국한될 가능성. 다른 유형의 표나 질문에 대한 일반화 성능 검증 필요.
👍