Parameter-Efficient Neuroevolution for Diverse LLM Generation: Quality-Diversity Optimization via Prompt Embedding Evolution

작성자

Haebom

카테고리

Empty

저자

Dongxin Guo, Jikun Wu, Siu Ming Yiu

💡 개요

본 논문은 대규모 언어 모델(LLM)의 모드 붕괴 현상으로 인해 발생하는 획일적인 출력 문제를 해결하기 위해, 파라미터 효율적인 신경 진화 기법을 제안합니다. 제안하는 QD-LLM 프레임워크는 동결된 LLM을 제어하는 약 3만 개의 파라미터를 가진 압축된 신경 인터페이스인 프롬프트 임베딩을 진화시키며, 이를 통해 다양한 생성 결과를 탐색합니다.

🔑 시사점 및 한계

•

핵심 시사점 1: 모델 미세 조정 없이도 행동 제어가 가능한, 그래디언트 프리 최적화를 통한 프롬프트 임베딩 진화 가능성을 제시합니다.

•

핵심 시사점 2: 의미론적 특징과 명시적 특징을 결합하고 형식적인 커버리지 한계(정리 1)를 부여하는 하이브리드 행동 특성화를 통해, 검증된 거의 독립적인(NMI=0.08±0.02) 행동 특성화 방법을 개발했습니다.

•

한계점 또는 향후 과제: 현재 프롬프트 임베딩 진화는 오픈 소스 LLM에서만 검증되었으며, 전체 임베딩 접근이 가능한 모델에 국한된다는 점이 향후 연구의 과제가 될 수 있습니다.

PDF 보기

Made with Slashpage