# 언어 모델에 한 획을 긋는 일이 일어났습니다. [어그로 아님]

[Video](https://vz-127031db-d43.b-cdn.net/8126f06a-97d6-4881-a304-2dc4ffa95860/playlist.m3u8)

2024년 4월 19일 메타AI에서 개발한 LLaMA3가 공개되었습니다. 라마, 라마2도 있었는데 이게 무슨 호들갑이냐구요? 이번 모델의 출시는 생각 이상의 큰 의미를 가집니다. ~GPT-4가 여전히 성능 1위를 유지하고 있다는 것도 대단하다고 느껴집니다. (곧 GPT-5가 나오면...?)~

## 성능

![Image](https://upload.cafenono.com/image/slashpagePost/20240419/225117_RY3vKxIWFWzq4O9J13?q=75&s=1280x180&t=outside&f=webp)

우선 성능 면에서 봤을 때, LLaMA3 모델은 8B, 70B, 그리고 앞으로 출시될 400B 등 다양한 사이즈로 제공되는데요. 이 모델들은 특히 대화, 추론, 코드 생성, 지시 사항 따르기 등의 분야에서 최고 수준의 성능을 자랑합니다. 이게 자신들이 공개한 벤치마크 뿐 아니라 실제 챗봇 아레나에서도 유의미한 결과를 나타내고 있습니다. 

개인적으로 실제로 써보면서도 영어에 있어선 GPT-3.5는 명확하게 뛰어 넘었고 대부분의 작업에서 GPT-4 정도의 성능을 보여줍니다. 400B가 아직 공개 안된걸 생각해보면 언어모델에 있어서 성능적 상향 평준화가 곧 일어날 것이라고 확신 합니다.

Llama Guard 2, Code Shield, CyberSec Eval 2 등 다양한 신뢰 및 안전 도구를 통해 책임감 있는 AI 사용을 지원하고 있다고 하는데 이 부분은 제가 잘 모르는 분야라 뭐 알아서 잘 만들었겠다고 생각합니다. 중요한건 라이선스 입니다.

## 저작권

[GitHub - meta-llama/llama3: The official Meta Llama 3 GitHub site](https://github.com/meta-llama/llama3/tree/main?tab=License-1-ov-file)

더 놀라운 건 메타가 LLaMA3를 여전히 오픈 소스로 공개했다는 사실이에요. 이제 전 세계 개발자들이 이 기술을 자유롭게 사용하고, 개선하며, 새로운 아이디어를 탐색할 수 있게 된 거죠. 이는 AI 연구와 개발의 대중화를 이끌고, 더 많은 혁신을 가능케 할 뿐만 아니라, AI 기술의 투명성과 신뢰성을 높이는 역할을 합니다. 실제로 LLaMA2가 나오고 실제로 해당 모델을 기반으로 파인튜닝된 모델을이 쏟아진걸 생각하면 이번에는 더 다양한 모델들이 나올 것 입니다.

![Image](https://upload.cafenono.com/image/slashpagePost/20240419/230737_AQT2IUU8WknEFtkVH7?q=75&s=1280x180&t=outside&f=webp)

LLaMA3의 성능 향상으로 인해 교육, 의료, 금융 등 다양한 분야에서 AI 활용 가능성이 더욱 확대되었어요. 가령, 정교해진 자연어 처리 능력은 법률 문서 분석, 복잡한 의료 정보 해석, 금융 시장 예측 등에 큰 도움이 될 수 있죠. 이제 AI 기술이 우리 일상 속 문제 해결에 한층 더 깊숙이 관여하게 될 것 같습니다. 이번에 공개할 때는 LLaMA2 때 처럼 대기열을 걸거나 하는 허들을 아예 없앴고 API 등도 개방해 빠르게 써볼 수 있게 한 것을 보며 AGI를 진심으로 하려는데는 메타인가? 하는 생각도 들었습니다.

![물론 이번 LLaMA3 라이센스라는 것을 발표하며 상업적 이용이 다소 어렵게 된 것은 있습니다. 다만, 연구쪽 입장에선 감사할 따릅니다. ](https://upload.cafenono.com/image/slashpageHome/20240421/222023_46WqinQxXkbel3Cf3m?q=75&s=1280x180&t=outside&f=webp)

## 활용성

[Video](https://vz-127031db-d43.b-cdn.net/075dd362-364b-46ce-a332-f14f7c49ffeb/playlist.m3u8)

![Image](https://upload.cafenono.com/image/slashpagePost/20240419/225342_ahyScTy7aXGYPxXE3T)

![Image](https://upload.cafenono.com/image/slashpagePost/20240419/225418_DR5rJSNz0PxvmNfXvz)

메타AI는 LLaMA3 기술을 바탕으로 메타AI 앱에서는 통합된 검색 기능으로 실시간 정보를 찾아보고, 앱을 번갈아 가며 사용할 필요 없이 원하는 작업을 완료할 수 있어요. 'Imagine' 기능을 이용하면 텍스트에서 실시간으로 이미지를 생성 뿐 아니라 간단한 gif도 만들 수 있게 제공 됩니다. 앞으로 페이스북, 인스타그램, 왓츠앱 등에 순차적 적용이 될 것이라고 합니다.

---

이번 라마3은 언어모델 개발에 뛰어들 수 있는 많은 기회를 만들고 성능의 상향평준을 시키는 시발점이 될 것 같습니다. 게다가 15조 토큰이라는 엄청난 규모의 데이터셋을 다루면서도 품질 관리에 많은 노력을 기울인 점이 인상적이에요. 휴리스틱 필터, NSFW 필터, 그리고 의미 기반 중복 제거 기술 등을 통해 양질의 데이터만 추려내는 게 정말 중요한 과정이었겠어요.

특히 이전 모델 대비 다국어 콘텐츠 비율을 대폭 늘린 점도 주목할 만한데요. 30개 언어 지원을 목표로 고품질의 다국어 데이터를 확보하는 일은 쉽지 않았을 텐데, 언어별 뉘앙스까지 제대로 파악할 수 있게 된 건 정말 대단한 성과예요.

학습 방법론 면에서도 Single Epoch 접근 방식을 택해 효율성을 높이고, 코드 데이터 비중을 늘리는 등 데이터 구성을 최적화한 부분이 눈에 띄네요. 여기에 128K 토크나이저, GQA 기술, 8K Context Length 등 다양한 기술적 요소들이 어우러져 언어 처리 성능을 한 단계 더 끌어올렸는데 여기서 메타에서 LLaMA3 개발에 쏟은 노력과 열정이 고스란히 느껴졌습니다. 

아래 사이트에서 사용해볼 수 있습니다.

[Meta AI](https://www.meta.ai/)

For the site tree, see the [root Markdown](https://slashpage.com/haebom.md).