Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Robustness Tokens: Towards Adversarial Robustness of Transformers

Created by
  • Haebom
Category
Empty

저자

Brian Pulfer, Yury Belousov, Slava Voloshynovskiy

개요

본 논문은 사전 훈련된 거대 언어 모델의 공개된 특성으로 인해 발생하는 적대적 공격 취약성 문제를 해결하기 위해, Transformer 아키텍처에 특화된 새로운 접근 방식인 Robustness Tokens를 제안합니다. 기존의 적대적 훈련 방식처럼 모델 파라미터를 조정하는 대신, 소량의 추가적인 개인 토큰을 미세 조정하여 계산 비용을 낮추면서 Vision Transformer 모델의 강건성을 향상시키는 방법입니다. 실험 결과, Robustness Tokens는 화이트 박스 적대적 공격에 대한 Vision Transformer 모델의 강건성을 크게 향상시키는 동시에 기존의 성능도 유지함을 보여줍니다.

시사점, 한계점

•
시사점:
◦
Transformer 기반 모델의 적대적 공격 취약성 문제에 대한 효율적인 해결 방안 제시
◦
기존 적대적 훈련 방식보다 낮은 계산 비용으로 강건성 향상 가능
◦
Vision Transformer 모델의 성능 저하 없이 강건성을 높일 수 있음을 실험적으로 증명
•
한계점:
◦
현재는 Vision Transformer 모델에만 적용된 방법으로, 다른 아키텍처 모델에 대한 적용 가능성은 추가 연구 필요
◦
블랙박스 공격이나 다른 유형의 적대적 공격에 대한 Robustness Tokens의 효과는 추가 연구 필요
◦
제한된 규모의 실험 결과만 제시되어, 더욱 광범위한 실험을 통해 일반화 가능성을 검증할 필요가 있음
👍
Made with Slashpage