본 논문은 학술 정보 탐색을 위한 대규모 언어 모델(LLM) 기반 API 사용 방법론인 SoAy를 제시한다. 기존 방법들이 학술 질의에서 흔히 발생하는 복잡한 API 결합에 어려움을 겪는다는 점을 지적하며, SoAy는 사전 구성된 API 호출 순서인 '솔루션'을 활용하여 LLM이 API 간의 복잡한 관계를 이해하는 데 필요한 어려움을 줄인다. 코드를 활용하여 추론 효율성을 높이는 것이 특징이다. AMiner API를 기반으로 구축한 SoAyBench라는 평가 벤치마크를 통해 SoAy의 성능을 평가한 결과, 기존 최첨단 LLM API 기반 방법론에 비해 34.58-75.99%의 성능 향상을 보였다. 모든 데이터셋, 코드, 튜닝된 모델 및 배포된 온라인 서비스는 공개적으로 접근 가능하다.
시사점, 한계점
•
시사점:
◦
복잡한 API 결합이 필요한 학술 정보 탐색에서 LLM의 효율성을 크게 향상시킬 수 있는 새로운 방법론을 제시하였다.
◦
'솔루션' 기반의 접근 방식은 LLM이 복잡한 API 관계를 이해하는 데 효과적임을 보여주었다.
◦
코드를 활용하여 추론 효율성을 높이는 방법의 효용성을 입증하였다.
◦
공개된 코드 및 데이터셋을 통해 재현성과 확장성을 높였다.
•
한계점:
◦
SoAyBench 벤치마크는 AMiner API를 기반으로 구축되었으므로, 다른 API 환경에서의 일반화 성능은 추가적인 검증이 필요하다.
◦
'솔루션'의 사전 구성이 필요하다는 점은 일반적인 학술 질의에 대한 적용 가능성을 제한할 수 있다. 솔루션 생성 과정의 자동화에 대한 연구가 필요하다.
