대규모 언어 모델(LLM)은 코드 생성에 널리 사용되지만, 존재하지 않는 패키지를 추천하는 패키지 환각으로 인해 실제 생산에 적용할 때 심각한 보안 위험에 직면한다. 이러한 환각은 악의적인 공격자가 유해한 패키지를 등록하기 위해 이를 악용하는 소프트웨어 공급망 공격에 악용될 수 있다. 본 연구에서는 패키지 환각을 완화하고 잠재적 공격으로부터 방어하기 위해 LLM의 패키지 환각 테스트가 중요함을 강조하며, 이를 위해 새로운 구문 기반 퍼징 프레임워크인 HFUZZER를 제안한다. HFUZZER는 퍼징 기술을 채택하고 구문을 기반으로 모델이 더 광범위한 합리적인 정보를 추론하도록 유도하여 충분하고 다양한 코딩 작업을 생성한다. 또한, 패키지 정보 또는 코딩 작업에서 구문을 추출하여 구문과 코드의 관련성을 보장함으로써 생성된 작업과 코드의 관련성을 향상시킨다. 여러 LLM에 대한 HFUZZER의 평가 결과, 모든 선택된 모델에서 패키지 환각이 유발되었으며, 돌연변이 퍼징 프레임워크에 비해 HFUZZER는 2.60배 더 많은 고유한 환각 패키지를 식별하고 더 다양한 작업을 생성했다. 또한 GPT-4o를 테스트했을 때, HFUZZER는 46개의 고유한 환각 패키지를 발견했다. 추가 분석 결과, GPT-4o의 경우 LLM은 코드 생성뿐만 아니라 환경 구성 지원 시에도 패키지 환각을 보이는 것으로 나타났다.
