본 논문은 전이 학습에서 나타나는 정보 포화 병목 현상(information saturation bottleneck)을 규명하고, 이를 해결하기 위한 방안을 제시합니다. 전이 학습은 다양한 데이터로 사전 훈련된 모델을 새로운 과제에 적용하는 기법이지만, 사전 훈련된 특징이 새로운 데이터셋에 적용될 때 충분한 성능을 보장할 수 없다는 한계가 존재합니다. 논문에서는 사전 훈련된 모델이 각 구성 과제에 대해 직접 훈련된 모델과 성능을 비교 분석하여, 경쟁적인 유사 특징을 학습하는 과정에서 새로운 특징을 학습하지 못하는 정보 포화 병목 현상을 발견합니다. 이 현상은 데이터 분포나 순서와 같은 요인에 의해 영향을 받으며, 대규모 네트워크에만 의존하는 것이 항상 효과적인 것은 아님을 시사합니다. 따라서 본 논문은 새로운 데이터셋에 대한 일반화 성능을 향상시키기 위해 더 풍부한 특징 표현을 제안하며, 기존 방법과 함께 새로운 접근 방식을 제시합니다.
