본 논문은 서비스 로봇을 위한 자연어 작업을 프로그램으로 변환하는 데 있어 소규모 전문 LLMs의 fine-tuning을 위한 새로운 방법인 ROBO-INSTRUCT를 제안합니다. 기존의 SELF-INSTRUCT나 EVOL-INSTRUCT는 새로운 작업을 생성할 수 있지만, 물리적 세계 및 로봇 제약 조건을 준수하는 프로그램을 생성하는 데 어려움을 겪습니다. ROBO-INSTRUCT는 프로그램 실행 중에 필요에 따라 엔티티 속성을 추론하고 제약 조건을 적용하여 작업별 시뮬레이션 환경을 동적으로 생성합니다. 또한, LLM 기반 후처리 과정을 통합하여 로봇 프로그램과의 정합성을 높입니다. 실험 결과, ROBO-INSTRUCT를 사용하여 fine-tuning된 모델이 기존 방법들을 능가하고, 심지어 대규모 독점 모델들과 유사하거나 그 이상의 성능을 보임을 보여줍니다.