본 논문은 가정용 서비스 로봇의 유연성을 높이기 위해 언어, 이미지, 행동, 지도 정보를 기반으로 행동 순서를 예측하는 종단간 모델 LIAM을 제안합니다. 다양한 가정용 작업들을 개별적으로 구현하는 대신, 대규모 언어 모델과 개방형 어휘 객체 인식 방법을 활용하여 로봇에게 작업 설명과 환경 정보를 제공하는 방식입니다. CLIP 백본을 사용하여 언어 및 이미지 입력을 인코딩하며, 두 가지 사전 학습 과제를 통해 가중치를 미세 조정하고 잠재 공간을 사전 정렬합니다. ALFRED 데이터셋을 사용하여 모델을 평가하였습니다.
