LitLLMs, LLMs for Literature Review: Are we there yet?
Created by
Haebom
Category
Empty
저자
Shubham Agarwal, Gaurav Sahu, Abhay Puri, Issam H. Laradji, Krishnamurthy DJ Dvijotham, Jason Stanley, Laurent Charlin, Christopher Pal
개요
본 논문은 최근 연구 논문의 급증으로 시간이 많이 걸리고 어려운 문헌 검토 작성을 돕기 위해 최신 대규모 언어 모델(LLM)의 제로샷 능력을 탐구한다. 문헌 검토 작성 과제를 추출(초록을 바탕으로 관련 연구 검색)과 생성(검색 결과를 바탕으로 문헌 검토 작성) 두 가지 구성 요소로 분해하여 LLM의 효과성을 분석한다. 추출 단계에서는 초록에서 의미 있는 키워드를 추출하고 외부 지식 베이스를 질의하여 관련 논문을 검색하는 2단계 검색 전략을 제시하며, 속성이 포함된 프롬프트 기반 재순위 지정 메커니즘을 연구하여 기존 검색 방법 대비 정규화된 재현율을 두 배로 향상시키고 LLM의 의사결정 과정에 대한 통찰력을 제공한다. 생성 단계에서는 먼저 문헌 검토 계획을 세우고 그 계획에 따라 실제 문헌 검토를 생성하는 2단계 접근 방식을 제안한다. 제로샷 평가에서 테스트 세트 오염을 방지하기 위해 새롭게 출시되는 LLM과 함께 사용하도록 설계된 프로토콜을 사용하여 arXiv 논문에서 테스트 세트를 생성하고, 이 평가 프로토콜을 공개하여 추가 연구 개발을 장려한다. 실험 결과, 과제를 검색 및 계획과 같은 작은 구성 요소로 분해하면 LLM이 문헌 검토 작성에 유망한 잠재력을 보여줌을 시사한다. 데모 시스템 및 툴킷을 포함한 프로젝트 페이지는 https://litllm.github.io에서 확인할 수 있다.
