본 논문은 직교 미세조정(OFT)의 높은 계산 비용과 메모리 사용량 문제를 해결하기 위해 OFTv2를 제안합니다. OFTv2는 기존 OFT의 가중치 중심 구현 방식 대신 입력 중심 방식을 채택하여 행렬-벡터 곱셈을 사용함으로써 계산 복잡도를 3차에서 2차로 줄입니다. 또한, 케일리 변환에서 행렬 역행렬을 근사하는 효율적인 직교 매개변수화 방법인 케일리-노이만 매개변수화를 도입합니다. 이러한 개선을 통해 OFTv2는 성능 저하 없이 최대 10배 빠른 학습 속도와 3배 낮은 GPU 메모리 사용량을 달성합니다. 추가적으로, 양자화된 기초 모델의 미세조정을 지원하며, QLoRA보다 뛰어난 학습 안정성, 효율성 및 메모리 사용량을 보여줍니다.
