Towards Harnessing the Collaborative Power of Large and Small Models for Domain Tasks
Created by
Haebom
저자
Yang Liu, Bingjie Yan, Tianyuan Zou, Jianqing Zhang, Zixuan Gu, Jianbing Ding, Xidong Wang, Jingyi Li, Xiaozhou Ye, Ye Ouyang, Qiang Yang, Ya-Qin Zhang
개요
본 논문은 대규모 언어 모델(LLM)의 높은 성능에도 불구하고, 방대한 데이터와 막대한 계산 자원이 필요하다는 점을 지적하며, 상대적으로 작은 모델(SM)과의 협업을 통해 LLM의 효율성을 높이고 특정 분야에 대한 적응력을 향상시킬 수 있다는 주장을 제기합니다. LLM과 SM의 시너지 효과를 창출하기 위한 다양한 전략을 탐구하고, 잠재적인 도전 과제와 기회를 제시하며, 실제 사례 기반의 다중 목표 벤치마크 연구를 강조합니다. 특히, 개인 정보 보호가 중요한 민감한 데이터 영역에서 LLM 적용을 가속화하는 방안을 모색합니다.
시사점, 한계점
•
시사점:
◦
LLM과 SM의 협업을 통한 효율적인 LLM 적용 및 민감한 데이터 영역에서의 활용 가능성 제시.