CHOIR: Collaborative Harmonization fOr Inference Robustness
Created by
- Haebom
Category
Empty
저자
Xiangjue Dong, Cong Wang, Maria Teleki, Millennium Bismay, James Caverlee
개요
Persona-assigned LLMs의 개인화 및 상황 인지 추론 능력은 유용하지만, 경미한 인구 통계적 변화에도 추론 궤적이 바뀌어 정답이 달라질 수 있다. 이러한 변동성을 완화해야 할 편향으로 취급하는 대신, 추론 견고성을 향상시키는 건설적인 자원으로 활용하고자 한다. 본 논문에서는 여러 페르소나 기반 추론 신호를 통합하여 통일된 예측을 생성하는 테스트 시간 프레임워크인 CHOIR (Collaborative Harmonization fOr Inference Robustness)를 제안한다. CHOIR는 반사실적 페르소나 간의 협업 디코딩 프로세스를 조율하여 추론 경로의 일치와 차이를 동적으로 균형을 맞춘다. 다양한 추론 벤치마크 실험 결과, CHOIR는 추가 훈련 없이도 인구 통계, 모델 아키텍처, 규모, 작업 전반에 걸쳐 일관되게 성능을 향상시켰다. 개별 인구 통계 그룹에 대해 최대 26.4%, 5개 인구 통계 전반에서 평균 19.2%의 향상을 보였다. 또한 기본 페르소나가 최적화되지 않은 경우에도 효과적이었다. CHOIR는 페르소나 변동성을 건설적인 신호로 재구성하여 LLM 추론의 신뢰성을 높이는 확장 가능하고 일반화 가능한 접근 방식을 제공한다.
시사점, 한계점
•
시사점:
◦
페르소나 기반 LLM 추론의 견고성 향상을 위한 새로운 프레임워크 제안: CHOIR
◦
추가 훈련 없이 다양한 환경에서 성능 향상 입증
◦
개별 인구 통계 그룹 및 전체에 대한 성능 향상
◦
기본 페르소나의 품질에 관계없이 효과적
◦
페르소나 변동성을 활용하여 추론 신뢰성 개선
•
한계점:
◦
논문에 구체적인 한계점에 대한 언급 없음
