Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Intelligence per Watt: Measuring Intelligence Efficiency of Local AI

Created by
  • Haebom
Category
Empty

저자

Jon Saad-Falcon, Avanika Narayan, Hakki Orhun Akengin, J. Wes Griffin, Herumb Shandilya, Adrian Gamarra Lafuente, Medhya Goel, Rebecca Joseph, Shlok Natarajan, Etash Kumar Guha, Shang Zhu, Ben Athiwaratkun, John Hennessy, Azalia Mirhoseini, Christopher Re

개요

본 논문은 대규모 언어 모델(LLM) 쿼리가 중앙 집중식 클라우드 인프라에서 처리되는 현재 방식의 문제점을 지적하고, 소형 LLM과 로컬 가속기를 활용하여 이 문제를 해결할 수 있는 가능성을 제시한다. 특히, 로컬 추론이 실용적인 수준의 정확도와 효율성을 달성할 수 있는지 평가하기 위해, '와트당 지능(IPW)'이라는 지표를 제안하고, 20개 이상의 최신 로컬 LLM, 8개의 가속기, 100만 개의 실제 단일 턴 챗 및 추론 쿼리를 대상으로 대규모 실험을 수행했다. 그 결과, 로컬 LLM이 88.7%의 정확도로 쿼리에 응답할 수 있으며, 2023년부터 2025년까지 IPW가 5.3배 향상되었고, 로컬 쿼리 처리 범위가 23.2%에서 71.3%로 증가했으며, 로컬 가속기가 클라우드 가속기보다 최소 1.4배 낮은 IPW를 달성할 수 있음을 확인했다. 본 연구는 로컬 추론이 중앙 집중식 인프라의 수요를 의미 있게 분산시킬 수 있음을 보여주며, IPW가 이러한 변화를 추적하는 데 중요한 지표임을 강조한다.

시사점, 한계점

•
시사점:
◦
소형 LLM이 다양한 작업에서 경쟁력 있는 성능을 달성할 수 있음을 입증.
◦
로컬 가속기를 활용하여 실용적인 수준의 정확도와 효율성으로 쿼리 처리가 가능함을 확인.
◦
로컬 추론이 중앙 집중식 클라우드 인프라의 부담을 줄이는 데 기여할 수 있음을 시사.
◦
와트당 지능(IPW) 지표를 통해 로컬 추론의 성능 및 효율성을 측정하고 비교하는 방법을 제시.
◦
IPW 프로파일링 하네스를 공개하여 지속적인 벤치마킹을 지원.
•
한계점:
◦
단일 턴 챗 및 추론 쿼리에 국한된 실험으로, 더 복잡한 작업에 대한 성능은 추가 연구가 필요.
◦
특정 하드웨어 및 모델 조합에 대한 결과이므로, 일반화에는 한계가 존재.
◦
실험 환경 및 데이터의 대표성에 대한 추가적인 검토 필요.
◦
실제 사용자 환경에서의 로컬 추론 적용에 대한 추가적인 연구가 필요.
👍
Made with Slashpage