확산 정책은 고차원 공간에서 다중 모드 액션 분포를 자연스럽게 모델링함으로써 로봇 조작에 탁월하지만, 의미론적으로 유사한 관측값을 구별할 수 없는 특징으로 매핑하는 확산 표현 붕괴 문제를 겪습니다. 본 논문에서는 이 문제를 해결하기 위해 분산 손실 정규화를 도입한 D2PPO(Diffusion Policy Policy Optimization with Dispersive Loss)를 제안합니다. D2PPO는 각 배치 내의 모든 숨겨진 표현을 음성 쌍으로 취급하여 표현 붕괴를 방지합니다. 이는 정밀한 조작에 필요한 미묘하지만 중요한 차이를 식별할 수 있도록 유사한 관측값의 구별적인 표현을 학습하도록 네트워크를 유도합니다. 실험 결과, 초기 레이어 정규화는 간단한 작업에 유익하고, 후기 레이어 정규화는 복잡한 조작 작업의 성능을 크게 향상시키는 것으로 나타났습니다. RoboMimic 벤치마크에서 D2PPO는 사전 훈련에서 평균 22.7%, 미세 조정 후 26.1% 향상을 달성하여 새로운 최고 성능을 기록했습니다. Franka Emika Panda 로봇을 사용한 실제 세계 실험 결과는 SOTA와 비교하여 D2PPO의 높은 성공률을 보여주며, 특히 복잡한 작업에서 우수성이 두드러집니다.
