본 논문은 저자원 언어에서 대규모 언어 모델(LLM)의 안전성을 확보하는 문제를 다룹니다. 기존 안전 정렬 방법들은 영어 중심적이어서 효과가 제한적이라는 점을 지적하며, 싱글리시(Singlish)의 독성을 줄이기 위해 Llama 3-8B 변형인 SEA-Lion-v2.1-Instruct 모델에 대해 지도 미세 조정(SFT), 직접적 선호도 최적화(DPO), Kahneman-Tversky 최적화(KTO) 세 가지 방법을 비교 분석합니다. 실험 결과, SFT+KTO가 DPO보다 높은 샘플 효율성으로 우수한 안전성 정렬을 달성함을 보여줍니다. 또한, 향상된 KL divergence regularization을 통해 안정성을 높인 KTO-S를 제시합니다. 제안된 방법은 싱글리시 독성을 99% 감소시키고 TOXIGEN에도 일반화되며, 표준 LLM 벤치마크에서도 높은 성능을 유지하여 다국어 환경에서 더 안전한 AI 배포를 위한 확장 가능한 프레임워크를 제공합니다.
