본 논문은 다양한 작업에 대한 경로 모델링 능력을 보여준 확산 모델을 기반으로, 전문가 데이터 수집이나 보상 함수 설계에 드는 많은 노력을 줄이고자 하는 새로운 접근 방식을 제시합니다. 기존 다중 작업 계획자나 정책들은 일반적으로 다중 작업 모방을 통한 작업별 시범이나 강화 학습(RL)을 통한 정책 최적화를 위한 작업별 보상 레이블에 의존하는데, 이는 상당한 인적 노력이 필요하다는 한계가 있습니다. 이러한 문제를 해결하기 위해, 본 논문에서는 작업과 무관한 비최적 경로를 포함하는 대규모 열등 데이터를 활용하여 다양한 하위 작업에 일반화될 수 있는 다용도 확산 계획자를 개발하는 것을 목표로 합니다. 이를 위해, 하위 최적 데이터를 활용하여 확산 계획자를 학습하는 두 단계 프레임워크인 SODP를 제안합니다. 먼저, 다양한 다중 작업 경로의 분포를 모델링하여 일반적인 계획 능력을 추출하는 기초 확산 계획자를 사전 훈련합니다. 그런 다음 하위 작업에 대해서는 작업별 보상을 사용한 RL 기반 미세 조정을 통해 확산 계획자를 신속하게 개선하여 작업별 수익률이 더 높은 작업 시퀀스를 생성하는 것을 목표로 합니다. Meta-World와 Adroit를 포함한 다중 작업 도메인에서의 실험 결과는 SODP가 보상 기반 미세 조정을 위한 소량의 데이터만으로도 최첨단 방법을 능가함을 보여줍니다.
