본 논문은 대규모 언어 모델(LLM)의 내부 값을 직접 정렬하는 Controlled Value Vector Activation (ConVA) 방법을 제시합니다. ConVA는 LLM의 잠재 표현에 값이 어떻게 인코딩되는지 해석하고 관련 활성화를 수정하여 LLM에서 일관된 값을 보장합니다. 정확하고 편향되지 않은 해석을 위해 문맥 제어 값 벡터 식별 방법을 제안하며, 모델 성능 저하 없이 값을 일관되게 제어하기 위해 게이트 방식의 값 벡터 활성화 방법을 도입합니다. 실험 결과, 본 방법은 10가지 기본 값에 대해 최고의 제어 성공률을 달성하면서 LLM의 성능과 유창성을 저해하지 않고, 반대되거나 악의적인 입력 프롬프트에도 목표 값을 보장합니다. 소스 코드와 데이터는 GitHub에서 공개됩니다.
시사점, 한계점
•
시사점:
◦
LLM의 내부 값을 직접적으로 제어하는 새로운 방법(ConVA)을 제시하여, LLM의 윤리적 문제 해결에 기여.
◦
문맥을 고려한 값 벡터 식별 및 게이트 방식 활성화를 통해 모델 성능 저하 없이 값 제어 가능성을 입증.
