대규모 언어 모델(LLM)이 다양한 실생활 응용 분야에 널리 사용되면서, 인간 의도에 맞는 응답을 생성하는 것이 중요해졌습니다. 본 논문에서는 비용이 많이 드는 재훈련이나 광범위한 감독 없이 추론 과정에서 모델 동작을 효율적으로 정렬하는 것을 목표로, 오픈 소스 LLM을 위한 훈련 없는 모델 불가지론적 정렬 프레임워크인 SDA(Steering-Driven Distribution Alignment)를 제안합니다. SDA는 사용자 정의 정렬 지침에 따라 모델 출력 확률을 동적으로 재분배하여 미세 조정 없이 모델 동작과 인간 의도 간의 정렬을 향상시킵니다. 이 방법은 가볍고 자원 효율적이며 다양한 오픈 소스 LLM과 호환됩니다. SDA는 추론 중에 독립적으로 작동하거나 훈련 기반 정렬 전략과 통합될 수 있으며, 개인화된 선호도 정렬을 지원하여 모델 응답 동작에 대한 유연한 제어를 가능하게 합니다. 실험 결과는 SDA가 8개의 다양한 오픈 소스 LLM에서 도움성, 무해성, 정직성(3H)의 세 가지 주요 정렬 차원에 걸쳐 일관되게 정렬 성능을 향상시키는 것을 보여주었습니다.
