본 논문은 대규모 언어 모델(LLM)을 활용한 설명 가능한 콘텐츠 조정을 위한 데이터 효율적인 2단계 프레임워크인 SMARTER를 제시합니다. 1단계에서는 LLM의 출력을 활용하여 정답과 오답 레이블 모두에 대한 합성 설명을 생성하고, 최소한의 사람 개입으로 선호도 최적화를 통해 정렬을 수행합니다. 2단계에서는 교차 모델 훈련을 통해 설명의 질을 개선하여, 성능이 낮은 모델이 성능이 높은 모델의 스타일과 의미를 학습하도록 합니다. HateXplain, Latent Hate, Implicit Hate 세 가지 벤치마크 작업에 대한 실험 결과, SMARTER는 전체 훈련 데이터의 일부만 사용하면서 표준 몇 샷 기준선보다 최대 13.5%의 매크로 F1 향상을 달성함을 보여줍니다. 본 프레임워크는 LLM의 자기 개선 기능을 분류와 설명 모두에 활용하여 저자원 환경에서 확장 가능한 전략을 제공합니다. 본 논문은 독성 콘텐츠의 예시를 포함하고 있음을 경고합니다.
