본 논문은 대규모 언어 모델(LLM)의 파라미터 효율적인 미세 조정 방법과 안전 우선 방어 기법의 급증에 따라 다양한 평가 방식으로 인해 안전성, 유용성, 견고성을 공정하게 비교하기 어려운 문제를 해결하기 위해 SafeTuneBed라는 벤치마크 및 툴킷을 제시한다. SafeTuneBed는 다양한 미세 조정 데이터셋을 큐레이팅하고, 최첨단 방어 기법을 통합하며, 안전성과 유용성을 평가하는 기능을 제공한다. 파이썬 기반의 구성 및 플러그인을 사용하여 미세 조정 방식, 방어 방법, 측정 기준을 쉽게 지정하고, 전 과정의 재현성을 보장한다. 다양한 독성 시나리오와 작업에 걸쳐 대표적인 방어 기법의 벤치마킹을 통해 그 가치를 보여준다. 데이터, 코드, 측정 기준을 표준화함으로써 안전한 LLM 미세 조정에 대한 엄격하고 비교 가능한 연구를 가속화하는 최초의 전문 툴킷이다.
