EvalMORAAL: Interpretable Chain-of-Thought and LLM-as-Judge Evaluation for Moral Alignment in Large Language Models

작성자

Haebom

카테고리

Empty

저자

Hadi Mohammadi, Anastasia Giachanou, Robert A. Bagheri

💡 개요

본 연구는 20가지 대규모 언어 모델(LLM)의 도덕적 정렬을 평가하기 위해 투명한 Chain-of-Thought (CoT) 프레임워크인 EvalMORAAL을 제안한다. EvalMORAAL은 두 가지 점수 산정 방식(로그 확률 및 직접 평가)과 모델 기반 심사(model-as-judge peer review)를 결합하여 세계 가치 조사(WVS) 및 PEW 글로벌 태도 조사 데이터를 기반으로 모델의 정렬도를 측정한다. 연구 결과, 최고 성능 모델들은 WVS 조사 응답과 높은 상관관계를 보였으나, 서구 지역과 비서구 지역 간에 뚜렷한 도덕적 정렬 격차가 존재함을 발견하였다.

🔑 시사점 및 한계

•

문화적 맥락에 대한 AI 정렬의 중요성: 본 연구는 AI 모델의 도덕적 정렬이 지역 및 문화적 맥락에 따라 달라질 수 있음을 명확히 보여주며, 문화적으로 편향되지 않은 AI 개발의 중요성을 강조한다.

•

투명하고 신뢰할 수 있는 평가 프레임워크의 필요성: EvalMORAAL은 CoT, 자체 일관성 검사, 모델 기반 심사를 통합하여 LLM의 도덕적 정렬을 공정하고 투명하게 평가할 수 있는 새로운 방법을 제시한다.

•

지역적 도덕적 정렬 격차 해소 및 일반화: 비서구 지역의 낮은 정렬도는 AI 모델이 전 세계적으로 공정하고 문화적으로 민감하게 작동하도록 하기 위한 추가 연구 및 개발이 필요함을 시사한다.

PDF 보기

Made with Slashpage