Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Large Language Models: A Survey

Created by
  • Haebom
Category
Empty

저자

Shervin Minaee, Tomas Mikolov, Narjes Nikzad, Meysam Chenaghlu, Richard Socher, Xavier Amatriain, Jianfeng Gao

개요

본 논문은 2022년 11월 ChatGPT 출시 이후 큰 주목을 받고 있는 대규모 언어 모델(LLM)을 종합적으로 검토합니다. 스케일링 법칙에 따라 방대한 텍스트 데이터로 수십억 개의 매개변수를 학습하여 범용적인 언어 이해 및 생성 능력을 갖춘 LLM의 특징, 기여 및 한계를 다룹니다. GPT, LLaMA, PaLM 세 가지 주요 LLM 계열을 포함하여 여러 LLM을 검토하고, LLM 구축 및 증강 기술, LLM 학습, 미세 조정 및 평가를 위한 데이터셋, 널리 사용되는 평가 지표, 그리고 대표적인 벤치마크에서 여러 LLM의 성능 비교를 제시합니다. 마지막으로, 미해결 과제와 향후 연구 방향을 논의합니다.

시사점, 한계점

•
시사점:
◦
다양한 LLM 계열(GPT, LLaMA, PaLM 등)의 특징, 기여 및 한계에 대한 포괄적인 분석을 제공합니다.
◦
LLM 개발 및 향상을 위한 다양한 기술들을 개괄적으로 소개합니다.
◦
LLM 학습, 미세 조정 및 평가에 사용되는 주요 데이터셋과 평가 지표를 정리합니다.
◦
여러 LLM의 성능을 대표적인 벤치마크를 통해 비교 분석하여 실질적인 성능 차이를 보여줍니다.
◦
LLM 분야의 미해결 과제와 향후 연구 방향을 제시하여 추가 연구를 위한 기반을 마련합니다.
•
한계점:
◦
LLM 분야의 급속한 발전 속도를 고려할 때, 논문 발표 시점 이후 새로운 모델과 기술이 등장하여 일부 내용이 빠르게 구식이 될 수 있습니다.
◦
방대한 LLM 연구 영역을 모두 포괄하기 어려워, 특정 모델이나 기술에 대한 편향이 존재할 가능성이 있습니다.
◦
평가 지표 및 벤치마크의 한계로 인해 LLM 성능 비교의 객관성에 제약이 있을 수 있습니다.
◦
논문에서 다루는 LLM들의 성능 비교가 특정 벤치마크에 국한될 수 있으므로, 다른 벤치마크에서는 다른 결과가 나타날 수 있습니다.
👍
Made with Slashpage