본 논문은 소수 샷 모방 학습에서 데이터 검색 문제를 다룹니다. 기존 방법들은 시각, 의미 또는 동작 공간에서 목표 데모와 가장 유사한 데모가 최상의 데모라고 가정하여 단일 특징 거리 휴리스틱을 사용하여 데이터를 검색하지만, 이는 관련 정보의 일부만을 포착하고, 유사한 장면 레이아웃으로 인해 관련 없는 작업의 데이터를 검색하거나, 목표가 다른 작업에서 유사한 동작을 선택하는 등 해로운 데모를 도입할 수 있습니다. 본 논문에서는 다중 단서의 작업별 조합에 기반하여 관련 데모의 선택을 안내하는 적응형 후기 융합 메커니즘을 사용하는 소수 샷 모방 학습에서 집합적 데이터 집계(COLLAGE) 방법을 제시합니다. COLLAGE는 단일 특징(예: 외관, 모양 또는 언어 유사성)을 사용하여 미리 선택된 데이터셋의 하위 집합에 가중치를 할당하고, 각 하위 집합에서 훈련된 정책이 목표 데모에서 작업을 얼마나 잘 예측하는지에 따라 가중치를 지정합니다. 그런 다음 이러한 가중치를 사용하여 정책 훈련 중 중요도 샘플링을 수행하여 추정된 관련성에 따라 데이터를 더 조밀하거나 드물게 샘플링합니다. COLLAGE는 일반적이고 특징에 구애받지 않아 어떤 검색 휴리스틱으로 선택된 하위 집합의 수를 결합하고 어떤 하위 집합이 목표 작업에 가장 큰 이점을 제공하는지 식별할 수 있습니다. 광범위한 실험에서 COLLAGE는 시뮬레이션에서 10가지 작업에 걸쳐 최첨단 검색 및 다중 작업 학습 방법보다 5.1% 향상되었고, 대규모 DROID 데이터셋에서 검색을 수행한 6가지 실제 작업에서 16.6% 향상되었습니다.
