본 논문은 지능형 비서 서비스에서 사용자 행동 예측의 중요성을 강조하며, 긴 꼬리(long-tailed) 행동을 예측하는 데 어려움을 겪는 심층 학습 모델의 한계를 지적합니다. 방대한 데이터를 사전 학습한 대규모 언어 모델(LLM)이 풍부한 행동 지식을 활용할 수 있는 가능성을 제시하지만, 기존의 미세 조정 방식은 빈번한 주요 행동(anchor behavior)에 과적합되어 덜 흔한 긴 꼬리 행동(tail behavior) 예측 능력이 저하되는 문제점을 갖고 있습니다. 이를 해결하기 위해, 본 논문에서는 두 단계의 진보적인 미세 조정 접근 방식인 BehaviorLM을 제안합니다. 첫 번째 단계에서는 일반적인 행동 지식을 유지하면서 주요 행동에 대해 LLM을 미세 조정하고, 두 번째 단계에서는 샘플 난이도를 기반으로 모든 행동의 균형 잡힌 하위 집합을 사용하여 주요 행동 성능을 저하시키지 않으면서 긴 꼬리 행동 예측을 개선합니다. 실제 데이터셋에 대한 실험 결과를 통해 BehaviorLM이 주요 행동과 긴 꼬리 행동 모두를 강력하게 예측하고, 소수의 예시만으로도 긴 꼬리 행동 예측을 효과적으로 수행함을 보여줍니다.
