BoLT: A Benchmark to Democratize Black-box Optimization Research for Expensive LLM Tasks

작성자

Haebom

카테고리

Empty

저자

Ruth Wan Theng Chew, Zhiliang Chen, Apivich Hemachandra, Bryan Kian Hsiang Low

💡 개요

본 논문은 대규모 언어 모델(LLM)의 학습 및 추론 설정 최적화 문제를 블랙박스 최적화(BBO) 관점에서 해결하고자 합니다. LLM 관련 작업의 높은 비용으로 인해 BBO 연구가 제약되는 문제를 극복하기 위해, 현실적인 LLM 최적화 문제들을 재현하고 경량화된 대체 모델을 활용하는 "BoLT"라는 벤치마크를 제안합니다. BoLT는 다중 충실도, 다중 목표, 이질 분산 노이즈, 고차원 탐색 공간 등 다양한 LLM 최적화의 어려움을 포함하며, 이를 통해 BBO 방법론의 효과적인 평가와 발전을 촉진합니다.

🔑 시사점 및 한계

•

LLM 관련 작업의 높은 비용으로 인해 BBO 연구 커뮤니티가 직면한 진입 장벽을 낮추고, LLM 최적화 문제에 대한 BBO 방법론의 적용을 민주화합니다.

•

현실적인 LLM 실험 데이터에 기반한 재현 가능한 벤치마크를 제공하여, 합성 함수나 소규모 데이터셋으로는 포착하기 어려운 LLM 최적화의 실제적인 과제를 효과적으로 다룹니다.

•

기존 BBO 방법론들이 LLM 작업에서 나타나는 성능 격차를 보여주며, BBO 커뮤니티의 벤치마크를 현대화할 필요성을 강조합니다.

•

BoLT 벤치마크 자체는 실제 LLM 실험 결과를 기반으로 하지만, 궁극적으로는 대체 모델을 사용하므로 실제 LLM 작업과 완벽하게 동일한 복잡성을 모두 담아내지는 못할 수 있습니다.

PDF 보기

Made with Slashpage