# Decomposed Trust: Privacy, Adversarial Robustness, Ethics, and Fairness in Low-Rank LLMs

### 저자

Daniel Agyei Asante, Md Mokarram Chowdhury, Yang Li

### 💡 개요

본 연구는 저랭크 근사(low-rank factorization)를 통해 압축된 대규모 언어 모델(LLM)의 신뢰성(trustworthiness)을 프라이버시, 적대적 강건성, 윤리, 공정성 측면에서 종합적으로 분석합니다. 다양한 LLM과 압축 기법을 평가한 결과, 저랭크 압축이 훈련 데이터 프라이버시는 보존하지만 대화 중 개인 식별 정보 보호는 약화시키고, 적대적 강건성은 향상시키지만 윤리성과 공정성은 저하시키는 것으로 나타났습니다.

### 🔑 시사점 및 한계

- 저랭크 압축은 LLM의 효율성을 높이면서도 특정 신뢰성 측면(예: 적대적 강건성)을 개선할 수 있습니다.

- 그러나 압축 과정에서 대화 중 개인 정보 보호, 윤리성, 공정성과 같은 중요한 신뢰성 지표가 저하될 수 있으므로 이에 대한 주의와 추가적인 보완이 필요합니다.

- 모델 규모와 파인튜닝이 신뢰성에 미치는 영향을 추가적으로 조사하였으며, 그레디언트 기반 기법을 통해 적대적 강건성에 기여하는 레이어를 식별하여 블랙박스 분석을 넘어선 이해를 시도했습니다.

---

[PDF 보기](https://arxiv.org/pdf/2511.22099)

For the site tree, see the [root Markdown](https://slashpage.com/haebom.md).