A Comprehensive Evaluation of Cognitive Biases in LLMs
Created by
Haebom
Category
Empty
저자
Simon Malberg, Roman Poletukhin, Carolin M. Schuster, Georg Groh
개요
본 논문은 다양한 의사 결정 시나리오에서 20개의 최첨단 대규모 언어 모델(LLM)에 대한 30가지 인지 편향에 대한 대규모 평가를 제시합니다. LLM 테스트를 위한 신뢰할 수 있고 대규모의 테스트 생성을 위한 새로운 범용 테스트 프레임워크, LLM에서 인지 편향을 감지하기 위한 30,000개의 테스트가 포함된 벤치마크 데이터 세트, 평가된 20개 LLM에서 발견된 편향에 대한 포괄적인 평가를 제공합니다. 또한, 이 연구는 20개 LLM 중 적어도 일부에서 테스트된 30가지 편향 모두에 대한 증거를 보고함으로써 LLM에서 인지 편향의 존재를 시사하는 이전 연구 결과를 확인하고 확장합니다. 연구에 사용된 프레임워크 코드는 https://github.com/simonmalberg/cognitive-biases-in-llms에서 공개되었습니다.
