Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Using LLMs for Automated Privacy Policy Analysis: Prompt Engineering, Fine-Tuning and Explainability

Created by
  • Haebom
Category
Empty

저자

Yuxin Chen, Peng Tang, Weidong Qiu, Shujun Li

개요

본 논문은 대규모 언어 모델(LLM)을 활용한 개인정보 보호 정책 분석 자동화 가능성을 연구했습니다. 기존의 기계 학습 기반 분류기들이 개인정보 보호 정책의 다양한 개념을 탐지하는 데 사용되었지만, LLM을 활용한 연구는 부족했습니다. 본 연구는 4개의 최신 개인정보 보호 정책 말뭉치와 분류 체계를 사용하여 프롬프트 엔지니어링과 LoRA 파인튜닝을 결합한 LLM 기반 분류기를 종합적으로 평가했습니다. 실험 결과, 프롬프트 엔지니어링과 파인튜닝을 결합한 LLM 기반 분류기가 기존 최고 성능 방법들을 상당하고 일관되게 능가하는 것을 보여주었습니다. 또한, 완전성, 논리성, 이해력 세 가지 지표를 사용하여 LLM 기반 분류기의 설명 가능성을 평가한 결과, 세 지표 모두 91.1%를 초과하는 점수를 얻어 LLM이 분류 성능 향상뿐 아니라 탐지 결과의 설명 가능성도 향상시킨다는 것을 입증했습니다.

시사점, 한계점

•
시사점:
◦
LLM 기반 분류기가 프롬프트 엔지니어링과 파인튜닝을 통해 기존 방법보다 개인정보 보호 정책 개념 분류 성능을 훨씬 향상시킬 수 있음을 보여주었습니다.
◦
LLM 기반 분류기는 높은 설명 가능성을 가지고 있어, 결과의 신뢰성과 투명성을 높일 수 있습니다.
◦
개인정보 보호 정책 분석 자동화를 위한 새로운 가능성을 제시합니다. 이는 정책 요약 및 법적 준수 문제 탐지 등 다양한 자동화 작업에 활용될 수 있습니다.
•
한계점:
◦
특정 LLM과 데이터셋에 대한 결과이므로, 다른 LLM이나 데이터셋에 대한 일반화 가능성은 추가 연구가 필요합니다.
◦
설명 가능성 평가 지표의 객관성 및 일반화 가능성에 대한 추가적인 검토가 필요합니다.
◦
사용된 개인정보 보호 정책 말뭉치와 분류 체계의 한계가 LLM 기반 분류기의 성능에 영향을 미칠 수 있습니다.
👍
Made with Slashpage