본 논문은 개발자의 광범위한 진단 및 디버깅에도 불구하고 AI 시스템이 때때로 유해한 의도치 않은 행동을 보이는 문제를 다룹니다. 유해한 행동을 유발할 수 있는 입력을 완전히 검색하는 것은 어렵기 때문에 이러한 문제를 찾고 수정하는 것은 어려운 과제입니다. 레드티밍과 적대적 훈련(AT)은 강건성을 향상시키는 데 일반적으로 사용되지만, 경험적으로 훈련 중 사용된 공격과 다른 실패 모드를 수정하는 데 어려움을 겪습니다. 본 연구에서는 유해한 행동을 유발하는 입력이나 그러한 행동에 대한 지식을 활용하지 않고 취약성을 방어하기 위해 잠재적 적대적 훈련(LAT)을 활용합니다. LAT는 네트워크가 실제로 예측에 사용하는 개념의 압축되고, 추상적이며, 구조화된 잠재적 표현을 사용합니다. 본 연구에서는 이를 통해 유해한 행동을 유발하는 예시 없이 실패 모드를 방어합니다. 특히, LAT를 사용하여 백도어를 제거하고 홀드아웃된 적대적 공격 클래스를 방어합니다. 이미지 분류, 텍스트 분류 및 텍스트 생성 작업에서 LAT는 AT에 비해 새로운 공격에 대한 강건성과 깨끗한 데이터에 대한 성능을 모두 향상시키는 것을 보여줍니다. 이는 LAT가 개발자가 명시적으로 식별하지 않은 실패 모드를 방어하기 위한 유망한 도구가 될 수 있음을 시사합니다.
