Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

FlexOlmo: Open Language Models for Flexible Data Use

Created by
  • Haebom

저자

Weijia Shi, Akshita Bhagia, Kevin Farhat, Niklas Muennighoff, Pete Walsh, Jacob Morrison, Dustin Schwenk, Shayne Longpre, Jake Poznanski, Allyson Ettinger, Daogao Liu, Margaret Li, Dirk Groeneveld, Mike Lewis, Wen-tau Yih, Luca Soldaini, Kyle Lo, Noah A. Smith, Luke Zettlemoyer, Pang Wei Koh, Hannaneh Hajishirzi, Ali Farhadi, Sewon Min

개요

FlexOlmo는 분산 학습과 데이터 유연 추론을 지원하는 새로운 종류의 언어 모델입니다. 서로 다른 모델 파라미터는 개별적으로 폐쇄된 데이터셋에서 독립적으로 학습되며(데이터 공유 없이), 이러한 파라미터와 관련된 데이터는 추가적인 학습 없이 유연하게 포함하거나 제외할 수 있습니다. 각 전문가는 독립적으로 폐쇄된 데이터셋에서 학습되고, 새로운 도메인 정보 라우팅을 통해 통합됩니다 (결합 학습 없음). 공개 데이터셋과 7개의 도메인별 폐쇄 데이터셋으로 구성된 FlexMix 코퍼스를 사용하여 학습되었으며, 최대 370억개의 파라미터(200억개 활성)를 가진 모델을 31개의 다양한 하위 작업에 대해 평가했습니다. 공개 데이터로 학습된 일반 전문가는 다른 데이터 소유자의 독립적으로 학습된 전문가와 효과적으로 결합되어 평균 41%의 상대적 성능 향상을 보이며, 데이터 라이선스 또는 허가 요구 사항에 따라 특정 데이터를 선택적으로 제외할 수 있습니다. 또한 기존의 모델 병합 방법보다 평균 10.1% 더 우수한 성능을 보이며, 동일한 학습 FLOPs을 사용하는 데이터 제약 없이 학습된 표준 MoE를 능가합니다. 민감하거나 보호되는 데이터를 가진 규제 산업의 데이터 소유자와 연구자 모두에게 해결책을 제시합니다. FlexOlmo는 데이터를 로컬로 유지하고 추론 중 데이터 접근에 대한 세분화된 제어를 지원함으로써 폐쇄된 데이터의 이점을 누리면서 데이터 소유자의 기본 설정을 존중할 수 있도록 합니다.

시사점, 한계점

•
시사점:
◦
데이터 공유 없이 분산 학습이 가능한 새로운 언어 모델 아키텍처를 제시.
◦
데이터 라이선스나 허가 요구사항에 따라 데이터 포함/제외를 유연하게 제어 가능.
◦
기존 모델 병합 방법 및 데이터 제약 없이 학습된 MoE보다 우수한 성능.
◦
민감한 데이터를 다루는 규제 산업에서의 활용 가능성 제시.
◦
공개 데이터와 폐쇄 데이터를 효과적으로 결합하여 성능 향상.
•
한계점:
◦
FlexMix 코퍼스의 구성 및 폐쇄 데이터셋의 대표성에 대한 추가적인 검증 필요.
◦
다양한 규모의 폐쇄 데이터셋에 대한 일반화 성능 평가 필요.
◦
도메인 정보 라우팅 메커니즘의 상세한 설명 및 한계점 분석 필요.
◦
실제 산업 환경 적용 시 발생할 수 있는 문제점 및 해결 방안에 대한 추가 연구 필요.
👍
Made with Slashpage