본 논문은 자연어로 표현된 의사결정 문제를 다루는 실세계 적합성 문제(예: 의료 진단, 세금 계획)에 대해 다룹니다. 대규모 영역(예: 법률 코드, 자주 업데이트되는 자금 지원 기회)에서는 사람의 주석 작업이 비실용적이므로 자동으로 의사 결정을 지원하는 에이전트가 필요합니다. 사용자만 관련 정보를 알고 있으므로 에이전트는 적절한 질문을 하는 것이 중요합니다. 에이전트는 정확성과 질문 횟수 사이의 절충을 고려해야 하며, 질문 횟수는 사용자 경험과 비용 모두에 중요한 지표입니다. 본 논문은 여러 중복되는 사회적 혜택 기회에 대한 사용자 적합성을 결정하기 위한 대화형 의사 결정 벤치마크인 BeNYfits를 제안합니다. 실험 결과, 기존 언어 모델은 환각 현상을 자주 보이며, GPT-4o는 ReAct 스타일 사고 과정을 사용하여 35.7 F1 점수만 얻었습니다. 이를 해결하기 위해, 본 논문은 대화 계획을 코드 생성 문제로 매핑하고 구조화된 데이터의 격차를 사용하여 다음 최적의 행동을 결정함으로써 의사 결정을 지원하는 프로그램 합성을 활용하는 새로운 접근 방식인 ProADA를 제시합니다. ProADA 에이전트는 대화 턴 수를 거의 유지하면서 F1 점수를 55.6으로 향상시킵니다.
