본 논문은 대규모 언어 모델(LLM)의 층에 적용된 Sparse Autoencoders (SAE)를 활용하여 생성된 출력을 임의의 주제에 맞춰 정렬하는 새로운 방법을 제시합니다. 기존 연구에서 SAE 뉴런이 해석 가능한 개념에 대응한다는 점에 착안하여, 1) 각 SAE 뉴런을 정렬 대상 텍스트와의 의미적 유사도에 따라 점수를 매기고, 2) 주제에 맞는 뉴런을 강조하여 SAE 층 수준의 출력을 수정하는 방식입니다. Amazon 리뷰, 의학, 아첨 등 다양한 공개 주제 데이터셋과 GPT2 및 Gemma와 같은 오픈소스 LLM 및 SAE 조합을 사용하여 실험을 진행했습니다. 의학 프롬프트에 대한 정렬 실험 결과, 파인튜닝에 비해 평균 언어 수용도 향상(0.25 vs. 0.5), 다양한 주제에 대한 훈련 시간 단축(333.6초 vs. 62초), 그리고 많은 응용 프로그램에서 허용 가능한 추론 시간(+0.00092초/토큰) 등의 장점을 보였습니다. 소스 코드는 github.com/IBM/sae-steering에서 공개됩니다.
