본 논문은 대규모 언어 모델(LLM)이 인간의 윤리적 추론을 모방하고 인간 판단의 신뢰할 만한 대리자 역할을 할 수 있는지 여부를 조사하기 위해, 196개의 실제 윤리적 딜레마와 전문가 의견으로 구성된 벤치마크 데이터 세트를 제시합니다. 각 딜레마는 소개, 주요 요소, 역사적 이론적 관점, 해결 전략, 주요 요약의 다섯 가지 구조적 구성 요소로 분류됩니다. 비전문가의 반응도 비교를 위해 수집되었으며, 간결성 때문에 '주요 요소' 섹션에만 제한됩니다. GPT-4o-mini, Claude-3.5-Sonnet, Deepseek-V3, Gemini-1.5-Flash 등 여러 최첨단 LLM을 BLEU, Damerau-Levenshtein 거리, TF-IDF 코사인 유사도, Universal Sentence Encoder 유사도를 기반으로 하는 복합 지표 프레임워크를 사용하여 평가했습니다. 지표 가중치는 역 기반 순위 정렬 및 쌍대 AHP 분석을 통해 계산되어 모델 출력과 전문가 응답의 세부적인 비교가 가능합니다. 결과는 LLM이 어휘 및 구조적 정렬 측면에서 일반적으로 비전문가보다 성능이 우수하며, GPT-4o-mini가 모든 섹션에서 가장 일관된 성능을 보임을 보여줍니다. 그러나 모든 모델은 맥락적 추상화가 필요한 역사적 근거와 미묘한 해결 전략 제시에 어려움을 겪습니다. 비구조적이지만 인간의 반응은 때때로 유사한 의미적 유사성을 달성하여 직관적인 도덕적 추론을 시사합니다. 이러한 결과는 윤리적 의사 결정에서 LLM의 강점과 현재 한계를 모두 강조합니다.
