Decomposed Trust: Exploring Privacy, Adversarial Robustness, Fairness, and Ethics of Low-Rank LLMs
Created by
Haebom
Category
Empty
저자
Daniel Agyei Asante, Md Mokarram Chowdhury, Yang Li
개요
본 논문은 대규모 언어 모델(LLM)의 신뢰성에 미치는 저랭크 분해 압축의 영향을 종합적으로 연구한다. 다양한 크기와 변형의 LLM을 사용하여 여러 저랭크 알고리즘으로 압축한 후, 개인 정보 보호, 적대적 견고성, 공정성, 윤리적 정렬 측면에서 신뢰성을 평가한다. 또한 모델 규모 및 미세 조정이 신뢰성에 미치는 영향도 조사한다. 마지막으로, 적대적 견고성에 가장 크게 기여하는 LLM 레이어를 식별하기 위한 기울기 기반 속성 분석을 수행한다.
시사점, 한계점
•
시사점:
◦
저랭크 압축은 훈련 데이터의 개인 정보 보호를 유지하거나 향상시키지만, 대화 중 개인 식별 정보(PII) 보호를 약화시킨다.
◦
일반적으로 적대적 견고성을 유지하거나 강화한다.
◦
Zero-shot 설정에서는 윤리적 추론이 저하되지만, few-shot 프롬프팅으로 부분적으로 회복된다.
