LiteCoOp: Lightweight Multi-LLM Shared-Tree Reasoning for Model-Serving Compiler Optimizations

작성자

Haebom

카테고리

Empty

저자

Annabelle Sujun Tang, Christopher Priebe, Lianhui Qin, Hadi Esmaeilzadeh

💡 개요

본 논문은 단일 대규모 LLM에 의존하는 기존 컴파일러 최적화 방식의 높은 비용 문제를 해결하기 위해, 이기종 LLM들이 협력하면서도 비용을 절감하는 LiteCoOp 프레임워크를 제안합니다. LiteCoOp는 최적화 탐색 트리 자체를 협력 메커니즘으로 활용하여, 각 LLM이 다음 LLM 선택까지 제안함으로써 상호 정보를 공유하고, MCTS 트리를 통해 보상을 역전파하여 협업을 이룹니다. 이를 통해 에이전트 프레임워크 없이도 비용 효율성을 높이면서 최적화 성능을 유지하는 것을 목표로 합니다.

🔑 시사점 및 한계

•

이기종 LLM 협업을 통한 비용 절감: 여러 LLM을 효율적으로 협력시켜 단일 대규모 LLM 사용 대비 컴파일 시간 및 API 비용을 크게 줄일 수 있음을 입증했습니다.

•

최적화 트리 자체를 협력 메커니즘으로 활용: 외부 에이전트나 복잡한 통신 없이도 LLM 간의 정보 공유 및 의사결정 학습을 가능하게 하는 새로운 접근 방식을 제시했습니다.

•

다양한 LLM 구성에서의 확장성: 8개의 이기종 LLM까지 협업 규모를 확장했을 때 성능이 더욱 향상되는 것을 확인하여, 협업의 확장 가능성을 보여주었습니다.

•

LLM 호출 비용 절감을 위한 모델 선택 편향: 최적화 성능을 유지하면서도 비용 절감을 위해 작은 LLM을 우선적으로 호출하도록 하는 LLM-aware UCT 메커니즘의 효과는 검증되었으나, 여전히 일정 비율의 대규모 LLM 호출은 불가피합니다.

•

향후 과제: 최적의 LLM 조합 및 스케일링 전략을 탐색하고, 더 넓은 범위의 컴파일러 최적화 문제에 LiteCoOp를 적용하는 연구가 필요합니다.

PDF 보기

Made with Slashpage