본 논문은 대규모 기초 모델의 미세 조정을 위한 새로운 적응 방법인 MaCP(Minimal yet Mighty adaptive Cosine Projection)을 제시합니다. MaCP는 최소한의 매개변수와 메모리만을 사용하면서 뛰어난 성능을 달성하는 것을 목표로 합니다. 코사인 투영의 우수한 에너지 압축 및 상관 제거 특성을 활용하여 모델 효율성과 정확도를 모두 향상시키는 아이디어를 기반으로 합니다. 구체적으로, 저차원 적응으로부터의 가중치 변화를 이산 코사인 공간으로 투영하고, 이산 코사인 스펙트럼의 다양한 수준에 걸쳐 가중치 변화를 분할한 후, 각 분할에서 가장 중요한 주파수 성분을 선택합니다. 광범위한 단일 모드 작업(자연어 이해, 자연어 생성, 텍스트 요약 등)과 다중 모드 작업(이미지 분류, 비디오 이해 등)에 대한 실험을 통해 기존의 대안과 비교하여 MaCP가 우수한 정확도, 크게 감소된 계산 복잡도 및 낮은 메모리 요구 사항을 일관되게 제공함을 보여줍니다.
