본 논문은 대규모 언어 모델(LLM)과 사용자 간의 다회차 상호작용에서 발생하는 암묵적 피드백 신호를 활용하는 ReSpect 방법을 제안합니다. 사용자가 LLM의 예상치 못한 응답에 대해 요청을 바꾸거나, 불만을 표하거나, 다른 작업으로 전환하는 등의 행동을 암묵적 피드백으로 간주합니다. 이러한 신호는 작업과 무관하며 언어의 제한된 하위 공간을 차지하기 때문에, LLM이 실제 작업에서 실패하더라도 이러한 신호를 식별할 수 있습니다. ReSpect는 추가적인 주석 없이 과거 상호작용의 신호를 통해 반추 학습하는 방법입니다. 본 논문에서는 조합적 해법 공간을 가진 추상적 추론 작업을 해결하기 위해 사람이 다중 모드 LLM을 지시하는 새로운 다중 모드 상호작용 시나리오에 ReSpect를 적용하여, 수천 번의 상호작용을 통해 작업 완료율을 31%에서 82%로 향상시켰음을 보여줍니다.
