해봄의 아카이브

작지만 강한 sLM의 시대도 성큼 다가 오고 있습니다.

Haebom
마이크로소프트는 Phi-3라는 새로운 언어 모델을 공개하였습니다. 사실 Phi-2가 작년 12월에 발표되고 얼마되지 않아 발표하는 거라 큰 기대를 안했는데 공개된 리포트만 보면 일단 sLM 분야에선 유의미한 결과를 보여주고 있는 것 같습니다.
Phi-3 Technical Report- A Highly Capable Language Model Locally on Your Phone.pdf1.95MB
가장 눈에 띄는 점은 바로 크기입니다. Phi-3-mini 모델은 불과 3.8억 개의 매개변수만으로 훈련되었습니다. 여러분, 3.8억이 많아 보이시나요? 사실 요즘 나오는 언어 모델 중에는 수백억, 심지어 수천억 개의 매개변수를 사용하는 경우도 있습니다. 그런데 Phi-3-mini는 그런 대형 모델의 1/10도 안 되는 크기로, 심지어 휴대폰에서도 돌아갈 수 있을 정도로 작습니다. (제발 sLLM이라는 이상한 말 쓰지마세요... sLM이라 씁시다.)
이번 테크니컬 리포트의 부제도 A Highly Capable Language Model Locally on Your Phone라고 붙인것도 최근 주목 받은 on-device 형태로 제공되는 걸 고려했다는 것을 보여줍니다. 소위 말하는 작고 똘똘한 모델입니다.

그런데 성능은요?

믿기 어려울 정도로 좋습니다. Mixtral 8x7B나 GPT-3.5 같은 최신 대형 모델과 비교해봐도 전혀 뒤지지 않습니다. MMLU나 MT-bench 같은 언어 이해, 추론 능력 측정 벤치마크에서도 높은 점수를 기록했죠. 크기는 작아도 실력은 최고 수준인 셈이에요.
이렇게 작은 모델로 높은 성능을 낼 수 있었던 비결은 뭘까요? 바로 훈련 데이터를 잘 다듬은 거랍니다. 웹에서 수집한 양질의 데이터와 인공적으로 생성한 데이터를 적절히 조합해서, 모델이 적은 용량으로도 최대한의 성능을 낼 수 있도록 했죠.
이런 소형화는 언어 모델의 활용도를 크게 높일 수 있습니다. 모델이 작으면 더 다양한 기기에서 직접 돌릴 수 있으니까요. 개인정보 보호나 반응 속도 측면에서도 큰 장점이 되겠죠. 앞으로는 더 많은 사람들이 일상에서 고성능 언어 AI를 활용할 수 있게 될 거예요.
또 한 가지 고무적인 점은 안전성인데요. Phi-3 모델은 포스트 트레이닝을 통해 안전성과 견고성을 크게 높였습니다. 유해한 응답을 내놓을 확률도 크게 낮아졌죠. 사용자들에게 보다 안전하고 바른 대화 경험을 제공할 수 있을 것으로 기대됩니다.

한계점?

물론 성능이 완벽한 건 아닙니다. TriviaQA처럼 대량의 백과사전식 지식을 요구하는 테스트에선 아직 부족한 모습을 보이더라고요. 하지만 이런 부분은 검색 엔진과 연계하는 등의 방법으로 개선해 나갈 수 있을 것 같습니다.
최근 공개된 LLaMA3의 공개와 더불어 확실히 의미 있는 모델들이 나와주고 있습니다. LLaMA가 라이선스로 오픈소스화와 그 사이 어딘가를 지향한다면 마이크로소프트의 Phi-2의 경우 MIT라이선스로 공개했던 전력이 있어 더욱 기대되는 것도 사실 입니다.
이렇게 Phi-3 모델은 작지만 강한 언어 모델의 새로운 가능성을 보여주고 있습니다. 고성능 AI를 더욱 가볍고 접근성 높게 만드는 기술은 앞으로도 계속 발전해 나갈 것입니다. 생각 보다 빠른 속도로 좋은 모델들이 접근성이 좋아지고 있는 것 같아 개인적으로 생각했던 것 보다 훨씬 빠르게 변화가 찾아올 수도 있겠다는 생각이 듭니다.
Subscribe to 'haebom'
📚 Haebom의 아카이브에 오신 걸 환영합니다.
---
IT 💻, 경제 💰, 인문학 🎭을 관련 된 글을 올립니다.
제 생각과 관점 혹은 관심사가 궁금하시면 구독해주세요.
haebom@kakao.com
Subscribe