Sign In

Solving LLM Repetition Problem in Production: A Comprehensive Study of Multiple Solutions

Created by
  • Haebom
Category
Empty

저자

Weiwei Wang, Weijie Zou, Jiyong Min

개요

대규모 언어 모델(LLM)이 적절한 종료 없이 반복적인 내용을 생성하는 반복 문제는 실제 배치 코드 해석 작업에서 심각한 성능 저하 및 시스템 중단을 일으키는 주요 과제입니다. 본 논문은 실제 환경에서 발생한 반복 문제에 대한 포괄적인 연구와 실용적인 해결책을 제시합니다. 세 가지 반복 패턴(비즈니스 규칙 생성 반복, 메서드 호출 관계 분석 반복, PlantUML 다이어그램 구문 생성 반복)을 식별하고, 마르코프 모델 기반의 이론적 분석을 통해 탐욕적 디코딩의 반복 루프 탈출 실패가 근본 원인임을 밝힙니다. Beam Search 디코딩(early_stopping=True), presence_penalty 하이퍼파라미터, Direct Preference Optimization(DPO) 미세 조정 등 세 가지 솔루션을 실험적으로 평가하고, 작업별 적용 가능성을 매핑합니다.

시사점, 한계점

시사점:
실제 프로덕션 환경에서 발생하는 LLM 반복 문제에 대한 체계적인 분석 및 해결책 제시
세 가지 다른 반복 패턴 식별 및 각 패턴에 적합한 솔루션 제시
Beam Search의 earlystopping 파라미터가 반복 문제 해결에 중요한 역할 수행
DPO 미세 조정을 통한 모델 수준의 일반적인 해결책 제시
한계점:
제시된 해결책의 일반화 가능성 및 다른 작업에 대한 적용 가능성 추가 연구 필요
각 솔루션의 성능 및 비용 간의 trade-off에 대한 추가 분석 필요
특정 반복 패턴에 대한 최적의 해결책을 결정하는 방법에 대한 추가 연구 필요
👍