본 논문은 언어 지침을 통해 손의 잡기 동작을 생성하는 문제를 다루며, 특히 관절형 객체와의 상호 작용(HAOI)을 위한 손 동작 시퀀스를 생성하는 SynHLMA 프레임워크를 제안합니다. SynHLMA는 관절형 객체의 전체 포인트 클라우드를 입력으로 받아 이산적인 HAOI 표현을 사용하며, 자연어 임베딩과 함께 HAOI 조작 언어 모델을 통해 훈련됩니다. 관절 조인트를 고려한 손의 잡기 동작 생성을 위해 joint-aware loss를 사용합니다. SynHLMA는 HAOI 생성, 예측, 보간의 세 가지 작업을 수행하며, 자체 구축한 HAOI-lang 데이터셋에서 SOTA 성능을 보입니다. 로봇의 잡기 동작 실행을 위한 응용 프로그램도 제시합니다.
