Your AI, Not Your View: The Bias of LLMs in Investment Analysis
Created by
Haebom
저자
Hoyoung Lee, Junhyuk Seo, Suhwan Park, Junhyeong Lee, Wonbin Ahn, Chanyeol Choi, Alejandro Lopez-Lira, Yongjae Lee
개요
본 논문은 금융 분야에서 대규모 언어 모델(LLM)이 사전 훈련된 지식과 실시간 시장 데이터 간의 불일치로 인해 지식 충돌을 자주 겪는다는 문제를 제기합니다. 특히 모델의 내재된 선호도와 금융 기관의 선호도가 불일치할 경우 신뢰할 수 없는 투자 권고로 이어질 수 있습니다. 본 연구는 LLM이 실제로 어떤 투자 견해를 가지고 있는지 조사하기 위한 실험적 프레임워크를 제시하며, LLM 기반 투자 분석에서 확인 편향에 대한 최초의 정량적 분석을 제공합니다. 균형 잡힌 주장과 불균형적인 주장을 포함하는 가상 시나리오를 사용하여 모델의 잠재적 선호도를 추출하고 그 지속성을 측정합니다. 섹터, 규모, 모멘텀에 중점을 두고 분석한 결과, 모델별로 구별되는 경향이 드러났습니다. 특히 대부분의 모델에서 대형주와 역행 전략에 대한 일관된 선호도를 보였으며, 반대 증거에도 불구하고 초기 판단에 고집하는 확인 편향이 관찰되었습니다.
시사점, 한계점
•
시사점: LLM 기반 금융 투자 분석에서 확인 편향의 존재와 그 심각성을 정량적으로 밝힘으로써, LLM을 금융 시스템에 적용할 때 발생할 수 있는 위험을 인지하고 이를 완화하기 위한 전략을 수립하는 데 도움을 줍니다. 모델별 투자 선호도의 차이를 분석하여, 모델 선택 및 사용에 대한 가이드라인을 제공할 수 있습니다.
•
한계점: 분석에 사용된 시나리오가 가상적이라는 점과, 특정 섹터, 규모, 모멘텀에만 집중하여 분석되었다는 점에서 일반화에 한계가 있을 수 있습니다. 더욱 다양하고 실제 시장 상황을 반영하는 데이터를 사용한 추가 연구가 필요합니다. 또한, 확인 편향 외 다른 인지적 편향의 영향은 고려되지 않았습니다.
