Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Domain Knowledge-Enhanced LLMs for Fraud and Concept Drift Detection

Created by
  • Haebom

저자

Ali \c{S}enol, Garima Agrawal, Huan Liu

개요

본 논문은 동적 플랫폼에서의 기만적인 대화 감지를 위한 도메인 지식 기반 대규모 언어 모델(DK-LLM) 프레임워크를 제시합니다. 기존의 대규모 언어 모델은 개념 이동(CD)으로 인한 문맥적 모호성과 환각으로 인해 기만적인 대화 감지에 어려움을 겪는다는 점에 착안하여, 구조화된 작업별 통찰력을 사전 훈련된 LLM에 통합하는 프레임워크를 제안합니다. 이 프레임워크는 가짜 대화 감지 모듈, 개념 이동 감지 모듈(OCDD), 그리고 이동의 성격을 분류하는 모듈로 구성되며, 가짜 리뷰 데이터셋과 SEConvo 데이터셋을 사용하여 성능을 검증합니다. LLaMA 기반 구현은 98%의 분류 정확도를 달성하였으며, 제로샷 기준 모델과 비교하여 도메인 지식과 개념 이동 인식의 중요성을 보여줍니다.

시사점, 한계점

시사점:
도메인 지식을 통합한 LLM 프레임워크가 기만적인 대화 감지 성능을 크게 향상시킴을 보여줌.
개념 이동 감지 기능을 통해 시간에 따른 언어 패턴 변화에 대한 로버스트성을 확보.
높은 정확도(98%)를 달성하여 실제 적용 가능성 제시.
구조화된 프롬프트를 활용하여 모델의 해석성을 향상.
한계점:
사용된 데이터셋의 특성에 따라 일반화 성능이 제한될 수 있음.
다양한 유형의 기만적인 대화에 대한 일반화 성능 평가 필요.
실제 플랫폼 환경에서의 성능 검증이 추가적으로 필요.
OCDD 모듈의 구체적인 알고리즘 및 성능에 대한 자세한 설명 부족.
👍