In-context reinforcement learning (ICRL)에서 state-action-reward 데이터의 다중 모드 특성과 다양한 의사 결정 작업의 이질성을 해결하기 위해, transformer 기반 결정 모델에 mixture-of-experts (MoE)를 도입한 T2MIR (Token- and Task-wise MoE for In-context RL) 프레임워크를 제안합니다. T2MIR은 토큰별 MoE와 작업별 MoE를 활용하여 입력 토큰의 의미론적 특성과 광범위한 작업 분포를 처리하며, 작업별 라우팅을 개선하기 위해 작업과 라우터 표현 간의 상호 정보를 최대화하는 대조 학습 방법을 사용합니다.
시사점, 한계점
•
In-context learning 능력 향상 및 다양한 baseline 대비 우수한 성능
