본 논문은 머신러닝 모델이 훈련 데이터의 배경과 같이 타겟과 상관관계가 있지만 인과적으로 관련되지 않은 단순한 허위 특징에 의존하는 문제를 다룹니다. 이러한 의존성은 소수 그룹과 다수 그룹 간의 불균형적인 테스트 성능으로 이어집니다. 본 논문은 훈련 세트의 비정형적인 예시(소수 그룹)에 대해서는 정확하게 예측하지만 테스트 세트에서는 동일한 정확도를 달성하지 못하는 기억 능력(memorization)의 관점에서 이러한 불균형 성능의 근본적인 원인을 자세히 살펴봅니다. 세 가지 실험적 증거를 통해 네트워크 내 소수 뉴런 집합에서 허위 특징의 광범위한 존재를 보여주며, 기억 능력이 불균형 그룹 성능에 기여할 수 있다는 최초의 증거를 제시합니다. 소수 그룹 정보를 기억하는 소수 뉴런 또는 채널의 특성을 발견하고, 이를 바탕으로 소수 뉴런 집합 내에 집중된 허위 기억 능력이 불균형 그룹 성능을 유발하는 데 중요한 역할을 한다는 가설을 세웁니다. 훈련 중 새로운 프레임워크를 통해 이러한 불필요한 허위 기억 패턴을 제거하면 소수 그룹에 대한 모델 성능에 상당한 영향을 미칠 수 있음을 보여줍니다. 다양한 아키텍처와 벤치마크에 대한 실험 결과는 신경망이 핵심 지식과 허위 지식을 어떻게 인코딩하는지에 대한 새로운 통찰력을 제공하며, 허위 상관관계에 대한 강건성을 해명하기 위한 미래 연구의 기반을 마련합니다.
