본 논문은 사용자 행동 예측을 위한 기초 모델인 BehaveGPT를 제안합니다. Transformer 기반 아키텍처와 새로운 사전 학습 방식을 활용하여 대규모 사용자 행동 데이터셋으로 학습된 BehaveGPT는 다음 행동 예측, 장기 생성, 도메인 간 적응 등 다양한 하위 작업을 지원합니다. 특히, DRO 기반 사전 학습 방식을 도입하여 빈도가 높은 행동과 낮은 행동 모두를 균등하게 모델링함으로써 모델의 일반화 및 전이성을 향상시킵니다. 실제 데이터셋을 이용한 실험 결과, BehaveGPT는 기존 최고 성능 모델보다 macro 및 weighted recall에서 10% 이상 향상된 성능을 보이며 사용자 행동을 효과적으로 포착하고 예측하는 능력을 입증합니다. 또한, Honor 데이터셋을 사용하여 사용자 행동 도메인에서 스케일링 법칙을 최초로 측정하여 모델 성능이 데이터 및 파라미터 크기 증가에 따라 어떻게 확장되는지에 대한 통찰력을 제공합니다.
