Trajectory Supervision for Continual Tool-Use Learning in LLMs

작성자

Haebom

카테고리

Empty

저자

Vishnu Vardhan Reddy, Sagnik Chatterjee, Soumik Bhatta

💡 개요

이 논문은 대규모 언어 모델(LLM)이 새로운 API 도메인을 지속적으로 학습할 때, 중간 API 호출 과정을 포함하는 '도구 사용 궤적(tool-use trajectory)'을 제공하는 것이 유용한지 탐구합니다. 이전 API 호출 및 응답 기록을 제거하는 방식(Condition A)과 달리, 궤적 정보를 유지하는 방식(Condition B)으로 Llama 3.1 8B Instruct 모델을 API-Bank 데이터셋으로 미세 조정했습니다. 결과적으로 궤적 정보를 유지한 Condition B가 이전 정보를 제거한 Condition A보다 최종 API 호출의 정확도를 크게 향상시키는 것을 발견했습니다.

🔑 시사점 및 한계

•

LLM의 지속적인 도구 학습 시, 중간 API 호출 및 응답 과정을 포함하는 '도구 사용 궤적' 정보는 모델의 성능 향상에 긍정적인 영향을 미칠 수 있습니다.

•

궤적 정보를 활용하는 것이 이전 API 사용 기록을 제거하는 방식보다 더 나은 API 예측 성능을 보여주며, 이는 LLM이 복잡한 API 상호작용을 더 잘 이해하고 재현할 수 있음을 시사합니다.

•

본 연구는 단일 시드를 사용한 파일럿 연구이며, 궤적 정보를 유지할 경우 훈련 토큰 사용량이 증가하는 단점이 있습니다. 또한, 최종 목표가 전체 대화 성공이 아닌 다음 API 호출 예측에 국한되어 있어, 실제적인 대화 성공으로 이어지는지에 대한 추가적인 검증이 필요합니다.

PDF 보기

Made with Slashpage