Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

LyS at SemEval 2025 Task 8: Zero-Shot Code Generation for Tabular QA

Created by
  • Haebom

저자

Adrian Gude, Roi Santos-Rios, Francisco Prado-Valino, Ana Ezquerro, Jesus Vilares

개요

본 논문은 SemEval 2025 Task 8 (표 형식 질의응답)에 참여한 내용을 기술한다. 대규모 언어 모델을 활용하여 입력 질문에 기반하여 표 데이터에서 관련 정보를 추출하는 기능적 코드를 생성하는 제로샷 파이프라인을 개발하였다. 해당 접근 방식은 주요 코드 생성 모듈을 중심으로, 관련 열 식별 및 데이터 유형 분석을 통해 추출 정확도를 높이는 추가 구성 요소로 구성된 모듈식 파이프라인이다. 생성된 코드가 실패할 경우, 오류 피드백을 새로운 생성 프롬프트에 통합하여 강건성을 높이는 반복적 개선 과정이 실행된다. 과제 특정 미세 조정 없이도 제로샷 코드 생성이 표 형식 질의응답에 유효한 접근 방식임을 보여주며, 테스트 단계에서 53개 참가팀 중 33위를 기록하였다.

시사점, 한계점

시사점: 제로샷 코드 생성이 표 형식 질의응답에 효과적인 접근 방식임을 제시한다. 모듈식 파이프라인과 오류 피드백 기반의 반복적 개선 과정을 통해 성능 향상 가능성을 보여준다.
한계점: 과제 특정 미세 조정 없이 53개 팀 중 33위를 기록하여 성능 향상의 여지가 있다. 더욱 정교한 오류 분석 및 처리, 다양한 데이터 유형에 대한 더 나은 처리 방안이 필요할 수 있다. 제로샷 접근 방식의 한계를 명확히 보여주는 결과이다.
👍