Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Solving LLM Repetition Problem in Production: A Comprehensive Study of Multiple Solutions

Created by
  • Haebom
Category
Empty

저자

Weiwei Wang, Weijie Zou, Jiyong Min

개요

대규모 언어 모델(LLM)이 적절한 종료 없이 반복적인 내용을 생성하는 반복 문제는 실제 배치 코드 해석 작업에서 심각한 성능 저하 및 시스템 중단을 일으키는 주요 과제입니다. 본 논문은 실제 환경에서 발생한 반복 문제에 대한 포괄적인 연구와 실용적인 해결책을 제시합니다. 세 가지 반복 패턴(비즈니스 규칙 생성 반복, 메서드 호출 관계 분석 반복, PlantUML 다이어그램 구문 생성 반복)을 식별하고, 마르코프 모델 기반의 이론적 분석을 통해 탐욕적 디코딩의 반복 루프 탈출 실패가 근본 원인임을 밝힙니다. Beam Search 디코딩(early_stopping=True), presence_penalty 하이퍼파라미터, Direct Preference Optimization(DPO) 미세 조정 등 세 가지 솔루션을 실험적으로 평가하고, 작업별 적용 가능성을 매핑합니다.

시사점, 한계점

시사점:
실제 프로덕션 환경에서 발생하는 LLM 반복 문제에 대한 체계적인 분석 및 해결책 제시
세 가지 다른 반복 패턴 식별 및 각 패턴에 적합한 솔루션 제시
Beam Search의 earlystopping 파라미터가 반복 문제 해결에 중요한 역할 수행
DPO 미세 조정을 통한 모델 수준의 일반적인 해결책 제시
한계점:
제시된 해결책의 일반화 가능성 및 다른 작업에 대한 적용 가능성 추가 연구 필요
각 솔루션의 성능 및 비용 간의 trade-off에 대한 추가 분석 필요
특정 반복 패턴에 대한 최적의 해결책을 결정하는 방법에 대한 추가 연구 필요
👍