본 논문은 대규모 언어 모델(LLM) 기반의 금융 자문 에이전트의 효과성을 실험을 통해 분석합니다. LLM 자문 에이전트가 영화 추천과 같은 단순한 영역에서는 뛰어난 성능을 보이지만, 금융과 같이 전문 지식이 필수적이고 실수의 위험이 큰 복잡한 영역에서는 어떻게 작동하는지에 대한 연구입니다. 특히 사용자의 선호도를 유도하고, 다양한 투자 선호도에 맞춰 개인화된 지침을 제공하며, 자문 에이전트의 성격을 활용하여 신뢰를 구축하는 세 가지 측면에 초점을 맞추어 64명의 참가자를 대상으로 실험을 진행했습니다. 실험 결과, LLM 자문 에이전트는 사용자 선호도를 유도하는 측면에서는 인간 자문가와 비슷한 수준의 성능을 보였지만, 상충되는 사용자의 요구를 해결하는 데는 어려움을 겪었습니다. 개인화된 조언을 제공하는 측면에서는 사용자 행동에 긍정적인 영향을 미치는 경우도 있었지만, 명확한 실패 사례도 나타났습니다. 정확한 선호도 유도가 중요하며, 그렇지 않으면 LLM 자문 에이전트는 거의 영향을 미치지 못하거나 부적절한 자산으로 투자자를 유도할 수도 있음을 보여줍니다. 더욱 우려스러운 점은 사용자가 제공되는 조언의 질에 무관심하거나, 오히려 반비례적인 관계를 보이는 경향이 있다는 것입니다. 외향적인 성격의 LLM에 대해 더 높은 만족도와 정서적 신뢰를 보였지만, 해당 에이전트가 더 나쁜 조언을 제공했음에도 불구하고 선호도가 높았습니다.
