# 작고 강한 LLM의 시대는 언젠가 온다?!

![Image](https://upload.cafenono.com/image/slashpagePost/20231007/234007_2PEwrknvv8gBJ77pOS?q=75&s=1280x180&t=outside&f=webp)

언어 모델 연구에서 큰 모델만이 아니라 작은 모델도 중요한 역할을 할 수 있다는 것을 보여줍니다. Microsoft의 연구자들은 어린이 이야기를 기반으로 작은 언어 모델을 훈련시켰고, 이러한 작은 모델이 문법과 일관성을 빠르게 습득할 수 있다는 것을 발견했습니다.

한편에선 MS의 모델이 특정 데이터셋을 편향적으로 학습해 평가 점수를 높게 받았을 뿐 실제 효용성은 없다고 주장합니다. 도덕, 윤리적 이슈를 제쳐 두고서라도 사실 작지만 성능이 잘 나오는 모델은 모두의 꿈이 되었습니다. 특히 인프라적, 금전적으로 한계가 있는 곳일 수록 더욱 그렇습니다. 

13B~60B 내외의 연구가 활발히 일어나고 혹은 100B 이상의 파운데이션 모델 위에 임베딩 모델들을 올려 빠르게 서빙하는 등 다양한 시도가 있으나 이는 결국 모두 적은 비용으로 큰 효용을 얻는 것을 기대하고 있습니다. 이미 인프라, 데이터셋, 자금줄을 마련한 구글, 오픈AI, 메타 등을 제외하고 이 시장의 플레이어들이 선택할 수 있는 거의 유일한 방법 이기도 합니다.

[Effective Small Language Models: Microsoft’s 1.3 Billion Parameter phi-1.5 - KDnuggets](https://www.kdnuggets.com/effective-small-language-models-microsoft-phi-15)

### 주요 포인트

- 작은 언어 모델은 큰 데이터 세트가 아닌 작은 데이터 세트로 훈련 가능

- 작은 모델의 훈련은 자원을 적게 사용하므로 더 많은 연구자가 접근 가능

For the site tree, see the [root Markdown](https://slashpage.com/haebom.md).