How Independent are Large Language Models? A Statistical Framework for Auditing Behavioral Entanglement and Reweighting Verifier Ensembles

작성자

Haebom

카테고리

Empty

저자

Chenchen Kuai, Jiwan Jiang, Zihao Zhu, Hao Wang, Keshu Wu, Zihao Li, Yunlong Zhang, Chenxi Liu, Zhengzhong Tu, Zhiwen Fan, Yang Zhou

💡 개요

대규모 언어 모델(LLM) 생태계에서 모델들이 서로 독립적인지 여부는 중요한 문제입니다. 공유된 사전 훈련 데이터, 증류, 정렬 파이프라인은 모델 간 숨겨진 행동 종속성을 유발할 수 있으며, 이는 LLM-as-a-judge 및 앙상블 검증과 같은 다중 모델 시스템의 신뢰성을 저해합니다. 본 논문은 블랙박스 LLM 간의 행동 종속성을 감사하기 위한 통계적 프레임워크를 제안하며, 정보 이론 기반 지표를 사용하여 이러한 종속성을 정량화하고 그 영향을 분석합니다.

🔑 시사점 및 한계

•

LLM들이 공유된 학습 데이터 및 정렬 과정으로 인해 실제로는 눈에 띄는 독립성을 갖지 못하며, 이는 LLM 기반 평가 시스템의 신뢰성에 부정적인 영향을 미칩니다.

•

제안된 통계적 프레임워크는 모델 간 행동 종속성을 효과적으로 측정하고, 이러한 종속성이 평가 결과에 미치는 영향을 정량화할 수 있습니다.

•

추론된 독립성을 바탕으로 검증기 앙상블의 가중치를 재조정하는 실질적인 활용 사례를 제시하며, 이를 통해 평가 성능을 향상시킬 수 있습니다.

•

본 연구에서 제시된 방법은 블랙박스 모델에 적용 가능하지만, 종속성의 근본적인 원인 규명이나 다양한 LLM 아키텍처 및 학습 방식에 대한 일반화 가능성은 향후 연구가 필요한 부분입니다.

PDF 보기

Made with Slashpage