본 논문은 디지털 인터페이스의 기만적인 패턴을 자동으로 식별하고 완화하는 AutoBot 프레임워크를 제시합니다. AutoBot은 웹사이트 스크린샷을 분석하여 HTML 코드 없이도 기만적인 패턴을 정확하게 식별하고 위치를 파악합니다. 특수 비전 모델과 대규모 언어 모델(LLM)을 활용하는 2단계 파이프라인을 통해 웹사이트의 시각적 및 텍스트적 특징을 분석하여 기만적인 패턴을 판별합니다. 또한, '교사' LLM로부터 지식을 추출하여 더 작은 언어 모델을 학습시키는 데 AutoBot을 사용하여 합성 데이터셋을 생성합니다. AutoBot은 사용자를 위한 브라우저 확장 프로그램, 개발자를 위한 Lighthouse 감사 도구, 연구자 및 규제 기관을 위한 측정 도구 등 세 가지 하위 애플리케이션으로 구현되어 다양한 웹 이해관계자를 지원합니다. 평가 결과, 기만적인 패턴 탐지에서 0.93의 F1-score를 달성하여 효과를 입증했습니다.
