본 논문은 인간-AI 의사결정의 효율성을 높이기 위해 계층형 대규모 언어 모델(LLM) 기반 의사결정 프레임워크를 제시합니다. 이 프레임워크는 예측의 정확성, 지식 및 추론 복잡성의 비용, 그리고 자동화된 답변을 거부하고 전문가를 개입시킬지 여부에 대한 확신이라는 세 가지 주요 요소의 균형을 맞춥니다. 기본 모델, 고성능 대규모 모델, 그리고 인간 전문가의 세 가지 전문성 수준을 활용하여 계층적으로 작업을 위임하는 캐스케이드 방식을 사용합니다. 먼저, 기본 모델의 답변을 수용할지 아니면 고성능 모델로 재생성할지를 결정하는 지연 정책과, 캐스케이드 모델의 응답이 충분히 확실한지 아니면 인간의 개입이 필요한지를 결정하는 거부 정책으로 구성됩니다. 또한, 인간의 피드백을 활용하여 시간이 지남에 따라 의사결정 품질을 향상시키는 온라인 학습 메커니즘을 통합합니다. 일반적인 질의응답(ARC-Easy 및 ARC-Challenge)과 의료 질의응답(MedQA 및 MedMCQA)에 대한 실험 결과, 제안된 캐스케이드 전략이 정확도를 높이고 비용을 줄이며, 원칙적인 거부 처리 방식을 제공함을 보여줍니다.
