Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Fox-1: Open Small Language Model for Cloud and Edge

Created by
  • Haebom

저자

Zijian Hu, Jipeng Zhang, Rui Pan, Zhaozhuo Xu, Shanshan Han, Han Jin, Alay Dilipbhai Shah, Dimitris Stripelis, Yuhang Yao, Salman Avestimehr, Tong Zhang, Chaoyang He

개요

Fox-1은 3조 토큰의 웹 스크랩 문서 데이터로 사전 훈련되고, 50억 토큰의 지시 따르기 및 다회차 대화 데이터로 미세 조정된 일련의 소형 언어 모델(SLM)입니다. Fox-1-1.6B와 Fox-1-1.6B-Instruct-v0.1 두 가지 모델로 구성되며, 사전 훈련 효율 향상을 위해 2K-8K 시퀀스 길이를 갖는 3단계 데이터 커리큘럼을 도입했습니다. 더 깊은 계층 구조, 확장된 어휘, 그리고 그룹화된 쿼리 어텐션(GQA)을 특징으로 하며, 다른 SLM에 비해 성능과 효율성이 뛰어납니다. StableLM-2-1.6B, Gemma-2B, Qwen1.5-1.8B, OpenELM1.1B 등과 비교하여 다양한 벤치마크에서 동등하거나 더 나은 성능을 달성하며, 경쟁력 있는 추론 속도와 처리량을 제공합니다. Apache 2.0 라이선스 하에 모델 가중치가 공개되어 LLM의 민주화를 촉진하고 오픈소스 커뮤니티에 완전히 접근 가능하게 합니다.

시사점, 한계점

•
시사점:
◦
3단계 데이터 커리큘럼을 통한 효율적인 사전 훈련 방법 제시
◦
GQA를 활용한 성능 및 효율 향상
◦
경쟁력 있는 성능과 추론 속도를 가진 소형 LLM 제공
◦
Apache 2.0 라이선스 하에 모델 공개를 통한 LLM 민주화 기여
•
한계점:
◦
구체적인 벤치마크 결과 및 성능 비교 지표가 제시되지 않아 정확한 성능 평가가 어려움
◦
3단계 데이터 커리큘럼의 세부적인 내용과 효과에 대한 자세한 설명 부족
◦
GQA의 구체적인 메커니즘 및 다른 어텐션 메커니즘과의 비교 분석 부족
◦
장기적인 성능 유지 및 안정성에 대한 추가적인 검증 필요
👍
Made with Slashpage