본 논문은 대규모 언어 모델(LLM)을 이용하여 촉각 센싱 기반의 다축 물체 회전 작업에 대한 보상 함수를 설계하는 Text2Touch 시스템을 제시합니다. 기존 연구들이 촉각 센싱의 중요성을 간과한 반면, Text2Touch는 손바닥 위, 아래 두 가지 자세에서 실제 시각 기반 촉각 센싱을 활용하여 4개의 관절을 가진 로봇 손으로 물체를 회전시키는 과제에 LLM으로 생성된 보상 함수를 적용합니다. 프롬프트 엔지니어링 전략을 통해 70개 이상의 환경 변수를 처리하고, 시뮬레이션에서 실제 환경으로의 지식 증류를 통해 성공적인 정책 전이를 달성합니다. 실험 결과, Text2Touch는 사람이 직접 설계한 보상 함수보다 훨씬 빠르고 안정적인 회전 성능을 보이며, 보상 함수의 크기 또한 훨씬 작습니다. 이를 통해 LLM 기반 보상 함수 설계가 촉각 기반 숙련된 로봇 기술 개발 시간을 단축하고, 다중 모달 로봇 학습의 확장성을 높일 수 있음을 보여줍니다.
