본 논문은 에지 디바이스에서의 대규모 언어 모델(LLM) 파인튜닝의 어려움(높은 계산 비용, 제한된 저장 공간 및 에너지 자원)을 해결하기 위해, 작업 인식 매개변수 효율적 파인튜닝 프레임워크인 TaskEdge를 제안합니다. TaskEdge는 목표 작업에 가장 효과적인 매개변수를 할당하고 작업별 매개변수만 업데이트하여 계산 비용과 메모리 사용량을 크게 줄입니다. 가중치와 입력 활성화를 모두 고려한 매개변수 중요도 계산 기준과 모델에 관계없이 작업별 매개변수를 고르게 분산하는 알고리즘을 제시합니다. 0.1% 미만의 매개변수만 업데이트하면서도 목표 하위 작업의 성능을 유지하며, NVIDIA의 특수 스파스 텐서 코어를 이용한 가속과 LoRA와의 통합을 지원합니다. 다양한 작업에 대한 광범위한 실험을 통해 TaskEdge의 효과를 입증합니다.
시사점, 한계점
•
시사점:
◦
에지 디바이스에서의 LLM 파인튜닝의 효율성을 크게 향상시킬 수 있는 새로운 프레임워크 제시.
◦
매개변수 중요도 계산 및 할당 알고리즘을 통해 계산 비용 및 메모리 사용량 감소.
◦
스파스 텐서 코어 및 LoRA와의 통합을 통한 추가적인 성능 향상 가능성 제시.
◦
0.1% 미만의 매개변수 업데이트로 성능 저하 없이 효율적인 파인튜닝 가능성 확인.
•
한계점:
◦
제안된 매개변수 중요도 계산 기준 및 할당 알고리즘의 일반화 가능성에 대한 추가적인 연구 필요.
