Tuning Language Models for Robust Prediction of Diverse User Behaviors

Created by

Haebom

저자

Fanjin Meng, Jingtao Ding, Jiahui Gong, Chen Yang, Hong Chen, Zuojian Wang, Haisheng Lu, Yong Li

💡 개요

본 논문은 방대한 데이터를 학습한 대규모 언어 모델(LLM)이 사용자 행동 예측에 잠재력이 있지만, 기존 미세 조정 방식은 빈번한 행동에 과적합되어 드물게 발생하는 행동 예측에 어려움을 겪는다는 문제를 제기합니다. 이를 해결하기 위해, 논문에서는 두 단계의 점진적 미세 조정 접근법인 BehaviorLM을 제안합니다. BehaviorLM은 첫 단계에서 일반적인 행동 지식을 유지하면서 자주 발생하는 행동을 학습하고, 두 번째 단계에서는 샘플 난이도를 고려한 균형 잡힌 데이터셋을 사용하여 드문 행동 예측 능력을 향상시킵니다.

🔑 시사점 및 한계

•

대규모 언어 모델의 일반적인 행동 지식을 활용하면서도 드문 사용자 행동 예측 능력을 효과적으로 개선할 수 있는 새로운 미세 조정 방법론을 제시합니다.

•

BehaviorLM은 자주 발생하는 행동 예측 성능을 유지하면서 드물게 발생하는 행동에 대한 예측 정확도를 높여, 다양한 사용자 행동 예측의 견고성을 확보합니다.

•

제안된 방법론은 적은 수의 예시(few-shot)만으로도 LLM이 드문 행동 예측을 성공적으로 수행하도록 돕는 잠재력을 보여줍니다.

•

실제 사용자 행동 예측의 복잡성과 다양성을 완전히 포괄하기 위해서는 추가적인 데이터셋과 실제 서비스 환경에서의 검증이 필요할 수 있습니다.

PDF 보기

Made with Slashpage