Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Evaluating Large Language Models for Phishing Detection, Self-Consistency, Faithfulness, and Explainability

Created by
  • Haebom

저자

Shova Kuikel, Aritran Piplai, Palvi Aggarwal

개요

본 논문은 지속적으로 진화하는 피싱 공격에 대한 효과적인 대응책으로, 대규모 언어 모델(LLM)을 활용한 피싱 이메일 분류 및 설명 가능성 향상 연구를 제시합니다. BERT, Llama, Wizard 등의 Transformer 기반 모델을 이진 시퀀스 분류, 대조 학습(CL), 직접 선호도 최적화(DPO)를 사용하여 미세 조정하고, SHAPley 값 기반 일관성 측정(CC SHAP)을 통해 예측과 설명의 일관성을 평가합니다. 연구 결과, Llama 모델은 높은 CC SHAP 점수를 보이며 예측과 설명의 일관성이 높지만 예측 정확도는 낮았고, Wizard 모델은 높은 예측 정확도를 보였지만 CC SHAP 점수는 낮았습니다. 이는 LLM의 정확한 예측뿐 아니라 예측과 일치하는 신뢰할 수 있고 일관된 설명의 중요성을 강조합니다.

시사점, 한계점

시사점:
LLM을 활용한 피싱 이메일 분류 및 설명 가능성 향상의 가능성을 제시합니다.
CC SHAP와 같은 설명 가능성 측정 방법을 통해 모델의 신뢰성 및 일관성을 평가할 수 있음을 보여줍니다.
모델의 예측 정확도와 설명의 일관성 사이의 trade-off를 보여줍니다. 높은 정확도와 높은 설명 일관성을 동시에 달성하는 것이 어려움을 시사합니다.
한계점:
Llama 모델의 높은 설명 일관성에도 불구하고 예측 정확도가 낮다는 점은 개선이 필요함을 보여줍니다.
다양한 LLM과 훈련 방법에 대한 추가적인 연구가 필요합니다.
CC SHAP 외 다른 설명 가능성 측정 방법을 활용한 추가적인 검증이 필요합니다.
실제 피싱 공격 환경에서의 성능 평가가 부족합니다.
👍