해봄의 아카이브

Moonshot AI, kimi에서 사용하는 LLM 서비스 플랫폼 공개

Haebom

Jul 2, 20242y ago

문샷, 중국 AI 스타트업 사상 최고 펀딩 기록...1년 만에 기업가치 33조

문샷 AI라는 중국 인공지능(AI) 스타트업이 10억달러(약 1조3300억원)에 달하는 펀딩에 성공했다. 이는 중국 AI 스타트업 사상 최대 규모로, 이 회사는 설립 10개월 만에 기업가치 25억달러(약 33조3500억원)로 유니콘에 올랐다.사우스차이나모닝포스트(SCMP)와 기즈모차이나 등은 20일 문샷 AI가 알리바바, 메이투안, 샤오홍슈, 세퀘이아 차이나 등으로부터 10억달러가 넘는 자금을 조달했다고 보도했다.이에 따르면 이 회사는 베이징 기반으로, 지난해 4월 설립됐다. 10월에는 자체 개발한 대형언어모델(LLM) 기반 '키미

aitimes.com

중국의 대표 인공지능 모델 개발 기업이라 하면, 지푸와 문샷, 미니맥스, 바이촨이 있습니다. 그 중 문샷은 기업가치가 33조를 넘기며 그 성능과 위세를 입증했습니다. Moonshot AI는 자체 언어모델이나 파라미터 수 등을 공개한 적이 없습니다. 다만, Kimi라는 서비스를 공개 했을뿐이죠. chatGPT와 같이 LLM 기반의 채팅, 검색 등이 가능한 대형 서비스 입니다.

Kimi.ai - 帮你看更大的世界

Kimi 是一个有着超大“内存”的智能助手，可以一口气读完二十万字的小说，还会上网冲浪，快来跟他聊聊吧 | Kimi.ai - Moonshot AI 出品的智能助手

kimi.moonshot.cn

개인적으로 종종 사용하기도 하고 주목하고 있는 회사였는데 이번에 재밌는 논문을 하나 공개했습니다. 해당 논문에는 Mooncake이라는 LLM 서비스를 지원하는 플랫폼을 공개했습니다. 당연히 실제 라이브로 지원 중인 서비스는 kimi이고 이걸 이제 B2B 형태로 팔려는 전략을 취하고 있습니다.

Mooncake의 핵심은 KVCache 중심의 분산 아키텍처에 있습니다. 이 아키텍처는 프리필(pre-fill)과 디코딩 단계를 분리하고, CPU, DRAM, SSD 자원을 활용해 분산 캐시를 구현합니다. 특히 프리필 노드 풀을 최적화하여 긴 문맥을 효과적으로 처리할 수 있도록 했습니다. 노드를 분할하여 병렬 처리를 가능케 하고, 레이어별 프리필 기법을 통해 VRAM 사용을 최소화했습니다.

Mooncake의 또 다른 강점은 KVCache 중심의 스케줄링 알고리즘입니다. 이 알고리즘은 캐시 재사용을 극대화하고 배치 크기를 최적화하여 모델의 FLOP 활용도를 높입니다. 또한 캐시 적중률과 인스턴스 부하를 균형 있게 고려하여 전체 시스템의 효율을 높였습니다.

오버로드 상황에 대한 Mooncake의 대응 전략도 주목할 만합니다. 예측 기반의 초기 거부 정책을 도입하고, 시스템 수준의 부하 예측을 통해 자원 낭비를 최소화했습니다. 이러한 전략은 급격한 부하 증가 상황에서도 시스템의 안정성을 유지하는 데 크게 기여합니다.

실험 결과, Mooncake는 기존 방법에 비해 최대 525%까지 처리량을 증가시켰으며, 실제 작업 부하에서도 75% 더 많은 요청을 처리할 수 있었습니다. ArXiv Summarization, L-Eval 등 다양한 데이터셋에서도 그 우수성이 입증되었습니다. 다만 아쉬운 점은 비교 대상을 LLaMa-2 70B를 대상으로 했다는 점입니다. 굳이? 라는 생각이 들면서도 이 논문 자체가 뒤늦게 공개된 논문이구나 하는 생각이 들었습니다. (일부러 기술 공개를 레이백하는 경우는 흔하니)

Mooncake의 개발은 LLM 서비스의 효율성과 성능을 대폭 향상시키는 중요한 기술적 진보입니다. 긴 문맥 처리, 오버로드 상황 대응 등 현실적인 문제들을 효과적으로 해결했다는 점에서 그 의의가 큽니다. 향후 이기종 가속기 활용이나 KVCache 압축 기법 개선 등을 통해 더욱 발전할 가능성도 열려 있습니다.

결론적으로, Mooncake는 KVCache 중심의 혁신적인 아키텍처를 통해 LLM 서비스의 주요 문제점들을 해결하고 있습니다. 프리필과 디코딩 단계의 분리, 효율적인 캐시 관리, 그리고 지능적인 오버로드 대응 전략은 LLM 서비스의 확장성과 효율성을 크게 향상시킬 수 있는 중요한 기술적 진보로 평가됩니다.

CPU, DRAM, SSD 자원을 활용한 분산 캐시 구현 자체가 무척 흥미롭고 이것으로 SLO(Service Level Objectives:서비스 가능 레벨)을 도달했다는 것도 말이죠. kimi 써보면 실제로 되게 괜찮거든요. 중국 관련된 기사나 정보 찾을때 무척 좋습니다. chatGPT와 퍼플렉시티 합친 느낌이라 해야하나...

Mooncake: Kimi's KVCache-centric Architecture for LLM Serving

Mooncake is the serving platform for Kimi, a leading LLM service provided by Moonshot AI. It features a KVCache-centric disaggregated architecture that separates the prefill and decoding clusters....

arxiv.org

Subscribe to 'haebom'

Subscribe to my site to be the first to receive notifications and emails about the latest updates, including new posts.
Join Slashpage and subscribe to 'haebom'!

Haebom

Jul 3, 2024

kimi 수준을 궁금해하시는 분들이 많아 공유드리면 대충 이런 느낌입니다. 적어도 Bing chat 정도에 견줄 만큼은 됩니다.

See latest comments