Breaking the Reviewer: Assessing the Vulnerability of Large Language Models in Automated Peer Review Under Textual Adversarial Attacks
Created by
Haebom
저자
Tzu-Ling Lin, Wei-Chih Chen, Teng-Fang Hsiao, Hou-I Liu, Ya-Hsin Yeh, Yu Kai Chan, Wen-Sheng Lien, Po-Yen Kuo, Philip S. Yu, Hong-Han Shuai
개요
본 논문은 대규모 언어 모델(LLM)을 자동 동료 검토 시스템에 적용하는 것의 강건성을 조사합니다. 증가하는 논문 제출량으로 인한 동료 검토 부담을 완화하기 위한 LLM 활용 가능성을 살펴보는 동시에, 텍스트 적대적 공격에 대한 LLM의 취약성을 중점적으로 다룹니다. LLM이 생성하는 검토의 효과성, 적대적 공격이 LLM 생성 검토의 신뢰성에 미치는 영향, 그리고 LLM 기반 검토의 과제와 완화 전략에 대한 세 가지 주요 질문에 초점을 맞춰 포괄적인 평가를 수행합니다. 평가 결과, 텍스트 조작을 통해 LLM 평가를 왜곡할 수 있는 상당한 취약성이 드러났습니다. 따라서 AI가 학술 커뮤니케이션의 무결성을 강화하기 위해서는 적대적 위험 해결이 중요함을 강조합니다.
시사점, 한계점
•
시사점:
◦
LLM을 이용한 자동 동료 검토 시스템의 가능성과 한계를 동시에 제시함으로써, AI 기반 학술 시스템 개발에 대한 현실적인 시각을 제공합니다.
◦
적대적 공격에 대한 LLM의 취약성을 명확히 밝힘으로써, AI 시스템 개발 시 보안 및 신뢰성 확보의 중요성을 강조합니다.
◦
LLM 기반 동료 검토 시스템 개발을 위한 향후 연구 방향을 제시합니다.
•
한계점:
◦
본 연구에서 사용된 LLM과 적대적 공격의 종류가 제한적일 수 있습니다. 다양한 LLM과 공격 기법에 대한 추가 연구가 필요합니다.
◦
실제 학술 논문을 대상으로 한 평가가 아닌, 특정 데이터셋을 사용했을 가능성이 있습니다. 실제 환경에서의 일반화 가능성에 대한 추가 검증이 필요합니다.
◦
적대적 공격에 대한 완화 전략에 대한 구체적인 제안이 부족할 수 있습니다. 실효성 있는 완화 전략 개발을 위한 추가 연구가 필요합니다.
