본 논문은 인간의 가치에 맞춰 미세 조정된 대규모 언어 모델(LLM)에서 발생하는 정렬 오류(alignment drift) 문제를 해결하기 위한 TraceAlign 프레임워크를 제시한다. TraceAlign은 적대적 프롬프트, 디코딩 섭동 또는 우회(jailbreak) 기법에 노출되었을 때 안전하지 않거나 정책 위반 완성을 생성하는 LLM의 정렬 오류의 근본 원인을 모델의 훈련 코퍼스에서 추적하는 통합 프레임워크이다. 핵심 구성 요소는 Belief Conflict Index (BCI)로, 접미사 배열 매칭을 사용하여 검색된 훈련 문서를 기반으로 생성된 구간과 정렬된 정책 간의 의미적 불일치를 정량화한다. TraceAlign은 TraceShield(추론 시 안전 필터), Contrastive Belief Deconfliction Loss(대조적 미세 조정 목적 함수), Prov-Decode(출처 인식 디코딩 전략) 세 가지 상호 보완적인 개입 방법을 제안하며, 이를 통해 정렬 오류를 최대 85%까지 줄이면서 표준 작업의 유용성은 유지한다. 또한 접미사 배열 구간 통계를 통해 오류 가능성에 대한 이론적 상한선을 도출하여 기억 빈도와 길이를 적대적 재활성화 위험과 연결한다.
