본 논문은 기존 가전 제품 자산의 열악한 렌더링, 불완전한 메커니즘, 매뉴얼과의 불일치로 인해 발생하는 시뮬레이션-현실 간극을 해결하기 위해, 100개의 고품질 가전 제품으로 구성된 RealAppliance 데이터셋을 소개합니다. 이 데이터셋을 기반으로, 매뉴얼 페이지 검색, 가전 부품 연결, 열린 루프 조작 계획, 닫힌 루프 계획 조정을 포함한 주요 작업에서 멀티모달 대규모 언어 모델과 구현된 조작 계획 모델을 평가하는 RealAppliance-Bench 벤치마크를 제안합니다.
시사점, 한계점
•
RealAppliance 데이터셋은 가전 제품 조작 연구를 위한 고품질 자산을 제공하여 시뮬레이션-현실 간극을 줄이는 데 기여합니다.
•
RealAppliance-Bench 벤치마크는 멀티모달 대규모 언어 모델 및 구현된 조작 계획 모델의 성능을 평가하고, 가전 제품 조작 연구 발전에 대한 통찰력을 제공합니다.
•
논문 자체의 한계점은 명시되어 있지 않지만, 벤치마크의 결과가 특정 모델에 국한될 수 있으며, 실제 환경에서의 성능 검증이 추가적으로 필요할 수 있습니다.
