[공지사항]을 빙자한 안부와 근황 
Show more

Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Adversarial Cooperative Rationalization: The Risk of Spurious Correlations in Even Clean Datasets

Created by
  • Haebom

저자

Wei Liu, Zhongyu Niu, Lang Gao, Zhiying Deng, Jun Wang, Haozhao Wang, Ruixuan Li

개요

본 연구는 생성자와 예측자가 협력적으로 훈련되는 자기 합리화 프레임워크를 조사합니다. 생성자는 원시 입력에서 가장 유익한 부분을 추출하고, 예측자는 선택된 부분집합을 입력으로 사용합니다. 하지만 이러한 협력적 게임은 합리화 추출 과정에서 의도치 않은 표본 편향을 유발할 수 있다는 점을 밝힙니다. 구체적으로 생성자는 원래 데이터셋에서 의미적으로 관련이 없더라도 선택된 합리화 후보와 레이블 간에 잘못된 상관관계를 만들 수 있습니다. 이러한 편향의 기원을 이론적 분석과 실험적 증거를 통해 설명하고, 공격 기반 상관관계 검사 방법 및 예측자가 상관관계를 학습하지 못하도록 하는 지침을 제시합니다. 여섯 개의 텍스트 분류 데이터셋과 두 개의 그래프 분류 데이터셋, 그리고 세 가지 네트워크 아키텍처(GRUs, BERT, GCN)를 사용한 실험을 통해 제안된 방법이 최근의 합리화 방법들을 능가하며, 대표적인 LLM(llama3.1-8b-instruct)과 비교 가능하거나 더 나은 결과를 달성함을 보여줍니다.

시사점, 한계점

시사점:
협력적 자기 합리화 프레임워크에서 발생할 수 있는 표본 편향 문제를 밝히고 그 원인을 분석했습니다.
표본 편향을 완화하기 위한 새로운 방법을 제시하고, 그 효과를 실험적으로 검증했습니다.
제안된 방법이 기존 방법들과 대표적인 LLM보다 우수하거나 비슷한 성능을 보임을 확인했습니다.
한계점:
제안된 방법의 효과는 특정 데이터셋과 네트워크 아키텍처에 국한될 수 있습니다.
더욱 다양한 데이터셋과 아키텍처에 대한 추가적인 실험이 필요합니다.
표본 편향 문제를 완전히 해결했다고 단정 지을 수는 없습니다. 추가적인 연구가 필요합니다.
👍