본 논문은 사용자의 스타일과 맞지 않는 일반적인 출력을 생성하는 언어 모델의 문제점을 해결하기 위해, Trial-Error-Explain In-Context Learning (TICL)이라는 새로운 방법을 제시합니다. TICL은 사용자당 10개 미만의 예시만으로 언어 모델을 개인화하는 튜닝이 필요 없는 방법입니다. 시행착오-설명 과정을 통해 in-context learning 프롬프트를 반복적으로 확장하여, 모델이 생성한 부정적인 예시와 설명을 추가함으로써 특정 사용자의 스타일에 맞춰 미세하게 조정합니다. 이를 통해 이메일, 에세이, 뉴스 기사 작성과 같은 개인화된 정렬 작업에서 경쟁력 있는 튜닝이 필요 없는 기준 모델들을 능가하고, 최첨단 기법과의 쌍방 비교에서 최대 91.5%의 승률을 달성합니다. 어휘 및 질적 분석을 통해 부정적 예시와 설명이 언어 모델이 스타일 맥락을 더 효과적으로 학습하고 제로샷 출력에서 관찰되는 구조적이고 형식적인 구문에 대한 편향을 극복하는 데 도움이 됨을 보여줍니다. 테스트 시 추가 생성 단계가 필요 없는 사용자별 in-context learning 프롬프트를 생성하기 위해 추론 연산을 전처리함으로써, TICL은 개인화된 정렬을 위한 참신하면서도 간단한 접근 방식을 제시합니다.
