Sign In

When Intelligence Fails: An Empirical Study on Why LLMs Struggle with Password Cracking

Created by
  • Haebom
Category
Empty

저자

Mohammad Abdul Rehman, Syed Imad Ali Shah, Abbas Anwar, Noor Islam

개요

대규모 언어 모델(LLM)의 사이버 보안 적용 가능성을 탐구하기 위해, TinyLLaMA, Falcon-RW-1B, Flan-T5와 같은 오픈 소스 LLM을 사용하여 합성 사용자 프로필 기반의 비밀번호 추측 성능을 평가했습니다. Hit@1, Hit@5, Hit@10 지표를 사용하여 일반 텍스트 및 SHA-256 해시 비교를 통해 측정한 결과, 모든 모델이 Hit@10에서 1.5% 미만의 정확도를 보이며, 기존 규칙 기반 및 조합 기반 크래킹 방식에 비해 현저히 낮은 성능을 보였습니다. LLM이 비밀번호 추측이라는 특정 도메인 작업에 적용될 때의 주요 한계를 분석하고 시사점을 도출했습니다.

시사점, 한계점

LLM은 언어 능력에도 불구하고 비밀번호 추측과 같은 특정 도메인에 필요한 도메인 적응 및 기억 능력이 부족합니다.
감독 학습 기반의 파인 튜닝이 없는 경우, LLM은 효과적인 비밀번호 추론을 수행하기 어렵습니다.
LLM은 적대적 맥락에서 한계를 보이며, 보안, 개인 정보 보호 및 강력한 비밀번호 모델링에 대한 향후 연구를 위한 기초를 제공합니다.
👍