본 논문은 대규모 언어 모델(LLM) 기반 언어 에이전트가 자원 제약 환경, 특히 전문 분야 및 희소 언어에서 직면하는 배포 문제를 해결하기 위해 개발된 한국어 화학 독성 정보 에이전트 Tox-chat을 소개합니다. 이 에이전트는 계층적 섹션 검색을 통해 토큰 소비를 줄이는 컨텍스트 효율적 아키텍처와 대형 모델에서 도구 사용 능력을 효과적으로 추출하는 시나리오 기반 대화 생성 방식을 통해 개발되었습니다. 실험 결과, 미세 조정된 80억 매개변수 모델이 미조정 모델 및 기준선 접근 방식을 DB 충실도와 선호도 측면에서 크게 능가하는 것으로 나타났습니다.
시사점, 한계점
•
시사점:
◦
자원 제약 환경에서 도메인 특화 언어 에이전트 개발 가능성 제시
◦
계층적 섹션 검색 및 시나리오 기반 대화 생성 방식을 통한 효율적인 토큰 사용 및 도구 활용 능력 향상
