Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

A Bayesian Hybrid Parameter-Efficient Fine-Tuning Method for Large Language Models

Created by
  • Haebom

저자

Yidong Chai (School of Management, Hefei University of Technology, Hefei, China, Key Laboratory of Process Optimization and Intelligent Decision-making, Ministry of Education, Hefei, China), Yang Liu (School of Management, Hefei University of Technology, Hefei, China, Key Laboratory of Process Optimization and Intelligent Decision-making, Ministry of Education, Hefei, China), Yonghang Zhou (School of Management, Hefei University of Technology, Hefei, China, Key Laboratory of Process Optimization and Intelligent Decision-making, Ministry of Education, Hefei, China), Jiaheng Xie (Department of Accounting and MIS, Lerner College of Business and Economics, University of Delaware, Newark, Delaware, U.S), Daniel Dajun Zeng (Institute of Automation, Chinese Academy of Sciences, Beijing, China)

개요

본 논문은 대규모 언어 모델(LLM)의 특정 비즈니스 애플리케이션 최적화를 위한 효율적인 파라미터 미세 조정(PEFT) 방법으로 베이지안 하이브리드 PEFT(BH-PEFT)를 제안합니다. 기존 하이브리드 PEFT 방법의 불확실성 정량화 부재 및 새로운 데이터 적응성 부족이라는 한계점을 해결하기 위해, 어댑터, LoRA, prefix-tuning을 결합하고 베이지안 학습을 통합하여 파라미터를 분포로 모델링함으로써 불확실성을 정량화하고, 이전 사후분포를 다음 라운드의 사전분포로 사용하는 동적 미세 조정 방식을 제시합니다. 감정 분석, 뉴스 분류, 상식 추론 등 비즈니스 과제에 대한 실험 결과, BH-PEFT는 기존 PEFT 기준 모델보다 우수한 성능을 보이며, 불확실성을 정량화하여 신뢰할 수 있는 의사결정을 지원하고, 동적 환경에 대한 적응성을 향상시키는 것으로 나타났습니다.

시사점, 한계점

•
시사점:
◦
베이지안 학습을 통합한 하이브리드 PEFT 방법인 BH-PEFT를 제시하여 기존 PEFT의 한계점을 극복했습니다.
◦
불확실성을 정량화하여 더욱 신뢰할 수 있는 의사결정을 지원합니다.
◦
동적 미세 조정 방식을 통해 새로운 데이터에 효과적으로 적응할 수 있습니다.
◦
비즈니스 분석 및 데이터 과학 분야에 실질적인 기여를 합니다.
◦
다양한 비즈니스 과제(감정 분석, 뉴스 분류, 상식 추론)에서 우수한 성능을 입증했습니다.
•
한계점:
◦
제안된 방법의 계산 비용에 대한 자세한 분석이 부족합니다.
◦
다양한 비즈니스 애플리케이션에 대한 일반화 가능성에 대한 추가 연구가 필요합니다.
◦
특정 비즈니스 도메인에 국한된 실험 결과이므로, 다른 도메인으로의 확장성에 대한 검증이 필요합니다.
👍
Made with Slashpage