Sign In

Questionnaire meets LLM: A Benchmark and Empirical Study of Structural Skills for Understanding Questions and Responses

Created by
  • Haebom
Category
Empty

저자

Duc-Hai Nguyen, Vijayakumar Nanjappan, Barry O'Sullivan, Hoang D. Nguyen

개요

본 논문은 설문 데이터를 처리하는 대규모 언어 모델(LLM)의 활용에 대한 연구를 제시한다. 설문 데이터의 규모와 구조적 특성이 LLM의 분석에 어려움을 야기하며, 기존 도구와의 통합이 제한적이라는 문제점을 지적한다. 이를 해결하기 위해, QASU(Questionnaire Analysis and Structural Understanding)라는 벤치마크를 제안하여, 다양한 직렬화 형식과 프롬프트 전략을 사용하여 LLM의 설문 분석 능력을 평가한다. 실험 결과, 효과적인 형식과 프롬프트 조합을 통해 정확도를 향상시킬 수 있으며, 경량 구조적 힌트 추가로 추가적인 성능 향상을 얻을 수 있음을 확인했다.

시사점, 한계점

시사점:
LLM 기반 설문 분석 연구 및 실질적 활용을 위한 기반 마련.
효과적인 설문 데이터 형식 및 프롬프트 전략 제시.
경량 구조적 힌트를 활용한 LLM 성능 향상 가능성 제시.
한계점:
구체적인 설문 데이터 및 LLM 모델 종류에 대한 정보 부족.
실험 결과가 특정 LLM 모델에 국한될 수 있음.
추가적인 구조적 힌트의 일반화 가능성에 대한 추가 연구 필요.
👍