본 논문은 복잡한 실제 환경에서 순차적 의사결정 및 도구 사용을 포함하는 상황에서 대규모 언어 모델(LLM)의 의사결정 분포와 선택 구조에 대한 민감성을 연구합니다. 다양한 LLM 모델을 대상으로 다속성 표 형식 의사결정 문제에서 기본 옵션, 제안, 정보 강조와 같은 전형적인 유도(nudges)와 추가적인 프롬프트 전략을 적용한 사례 연구를 수행했습니다. 그 결과, LLM은 인간의 선택 분포와 유사한 면을 보이지만, 유도에 대한 민감성이 훨씬 높고, 획득 점수, 정보 획득 전략 등에서 인간과 차이를 보임을 확인했습니다. 제로샷 사고 연쇄(CoT)와 같은 간단한 프롬프트 전략이나 인간 데이터를 활용한 몇 샷 프롬프팅을 통해 선택 분포를 변화시키고 정렬을 향상시킬 수 있지만, 유도에 대한 민감성은 해결되지 않았습니다. 또한, 인간의 자원 합리적 모델을 사용하여 최적화된 유도가 일부 모델의 성능을 향상시킬 수 있음을 보였습니다. 결론적으로, 복잡한 환경에서 사용자를 대신하여 작동하는 에이전트 또는 어시스턴트로 모델을 배포하기 전에 행동 테스트가 필요함을 시사합니다.
