Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Reducing the Scope of Language Models

Created by
  • Haebom
Category
Empty

저자

David Yunis, Siyu Huo, Chulaka Gunasekara, Danish Contractor

개요

본 논문은 대규모 언어 모델(LLM)을 특정 목적에 맞게 활용하기 위한 스코핑(scoping) 기법에 대한 연구를 제시한다. LLM이 의도된 목적과 일치하는 쿼리에만 응답하고, 관련 없는 요청(예: 시 생성, 물리학 관련 질문)은 거부하도록 하는 것이 목표이다. 프롬프팅, 파인 튜닝, 선호도 학습, Circuit Breakers(CB)를 포함한 다양한 방법론을 광범위하게 평가하며, 다양한 모델과 작업에 걸쳐 LLM 스코핑의 가능성을 보여준다. 또한, 부적절한 쿼리의 다양성, 다양한 기법의 조합, 적대적 평가 등을 분석한다.

시사점, 한계점

다양한 관련 없는 쿼리 예시가 존재할 경우, 단순한 지도 학습 기반 파인 튜닝이 가장 좋은 결과를 보인다.
부적절한 쿼리의 다양성이 낮을 경우, Circuit Breakers가 효과적이다.
두 방법을 순차적으로 적용하여 각 방법의 장점을 결합할 수 있다.
본 연구는 LLM 스코핑을 위한 실용적인 가이드 역할을 한다.
👍