WizardLM: Empowering large pre-trained language models to follow complex instructions
Created by
Haebom
저자
Can Xu, Qingfeng Sun, Kai Zheng, Xiubo Geng, Pu Zhao, Jiazhan Feng, Chongyang Tao, Qingwei Lin, Daxin Jiang
개요
본 논문은 대규모 언어 모델(LLM)을 오픈 도메인 명령어 따르기 데이터로 학습시키는 과정에서, 수동으로 명령어 데이터를 생성하는 것이 매우 시간이 많이 걸리고 노동 집약적이라는 문제점을 제기합니다. 이를 해결하기 위해, 인간 대신 LLM을 사용하여 다양한 복잡성 수준의 대량 명령어 데이터를 생성하는 Evol-Instruct 방법을 제안합니다. Evol-Instruct은 초기 명령어 집합으로부터 시작하여 단계적으로 더 복잡한 명령어로 재작성하는 방식을 사용합니다. 생성된 명령어 데이터를 혼합하여 LLaMA를 미세 조정하여 WizardLM 모델을 만듭니다. 인간 평가와 GPT-4 자동 평가 결과, WizardLM은 특히 고난도 명령어에 대해 OpenAI ChatGPT보다 우수한 성능을 보이는 것으로 나타났습니다. 이는 AI가 생성한 명령어로 LLM을 미세 조정하는 것이 LLM 성능 향상에 유망한 방향임을 시사합니다. 코드와 데이터는 공개적으로 제공됩니다.
시사점, 한계점
•
시사점:
◦
LLM을 활용하여 대량의 고품질 명령어 데이터를 효율적으로 생성하는 새로운 방법 제시.
◦
인간이 생성한 명령어보다 AI가 생성한 명령어로 학습시킨 WizardLM이 더 나은 성능을 보임을 증명.
