Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Joint Detection of Fraud and Concept Drift inOnline Conversations with LLM-Assisted Judgment

Created by
  • Haebom

저자

Ali Senol, Garima Agrawal, Huan Liu

개요

본 논문은 디지털 커뮤니케이션 플랫폼에서 가짜 상호작용을 탐지하는 새로운 프레임워크를 제안합니다. 기존의 정적 이상 탐지 기법의 한계점인 개념 이동(concept drift)을 악의적인 행위로 오인하는 문제를 해결하기 위해, 두 단계 접근 방식을 사용합니다. 첫 번째 단계에서는 맞춤형 앙상블 분류 모델을 이용하여 의심스러운 대화를 식별하고, 두 번째 단계에서는 One Class Drift Detector (OCDD)를 사용하여 개념 이동을 분석합니다. 개념 이동이 감지되면, 대규모 언어 모델(LLM)이 해당 이동이 사기성 조작인지 또는 정상적인 주제 변경인지 평가합니다. 개념 이동이 감지되지 않으면 스팸으로 간주합니다. 소셜 엔지니어링 채팅 시나리오 데이터셋을 사용하여 프레임워크의 효과를 검증하고, 정확성과 해석성을 개선하는 실용적인 이점을 보여줍니다. 또한, 다른 언어 모델을 사용하여 탐지와 판단을 수행하는 Dual LLM 기준 모델과 비교하여 장단점을 분석합니다.

시사점, 한계점

시사점:
개념 이동을 고려한, 더욱 정확하고 해석 가능한 가짜 상호작용 탐지 프레임워크 제시.
실시간 사기 탐지에 적용 가능한 실용적인 모델 제시.
앙상블 분류 및 개념 이동 분석을 결합한 다단계 접근 방식의 효과 입증.
Dual LLM 기준 모델과의 비교 분석을 통해 장단점을 명확히 제시.
한계점:
사용된 데이터셋의 특징(소셜 엔지니어링 채팅 시나리오)으로 인한 일반화 가능성 제한.
OCDD와 LLM의 성능에 대한 의존성.
특정 플랫폼이나 유형의 가짜 상호작용에 대한 일반화 가능성에 대한 추가 연구 필요.
👍