본 논문은 대규모 언어 모델(LLM)의 특정 작업에 대한 적응을 위해 파라미터 효율적인 미세 조정 기법인 LoRA(Low-Rank Adaptation)를 제안하며, 이를 제로지식 증명(ZKPs)과 통합하여 보안 및 검증 가능성을 확보하는 zkLoRA 프레임워크를 소개합니다. zkLoRA는 Transformer 기반 아키텍처에서의 산술 및 비산술 연산 모두를 검증하기 위해 룩업 인수, 합계 검증 프로토콜, 다항식 커밋먼트와 같은 암호화 기술을 사용합니다. 이는 LLaMA와 같은 오픈소스 LLM에서 최대 130억 개의 파라미터까지 확장 가능하며, 전파, 역전파, 파라미터 업데이트 과정 전체에 대한 검증 가능성을 제공하여 모델 파라미터와 훈련 데이터의 프라이버시를 보호합니다. 결론적으로, zkLoRA는 제한된 환경에서 안전하고 신뢰할 수 있는 LLM 배포를 가능하게 합니다.
