Daily Arxiv

This page organizes papers related to artificial intelligence published around the world.
This page is summarized using Google Gemini and is operated on a non-profit basis.
The copyright of the paper belongs to the author and the relevant institution. When sharing, simply cite the source.

Not All Splits Are Equal: Rethinking Attribute Generalization Across Unrelated Categories

Created by
  • Haebom
Category
Empty

저자

Liviu Nicolae Firc\u{a}, Antonio B\u{a}rb\u{a}lau, Dan Oneata, Elena Burceanu

개요

본 논문은 모델이 의미적으로나 지각적으로 다른 범주 간에 속성 지식을 일반화할 수 있는지 여부를 연구한다. 기존 연구는 좁은 분류학적 또는 시각적으로 유사한 도메인 내에서 속성 예측을 다뤘지만, 현재 모델이 속성을 추상화하여 개념적으로 먼 범주에 적용할 수 있는지 여부는 불분명하다. 본 연구는 이러한 조건 하에서 속성 예측 작업의 견고성에 대한 최초의 명시적 평가를 제시하며, 모델이 관련 없는 객체 유형 간의 공유 속성을 올바르게 추론할 수 있는지 테스트한다. 이를 위해 LLM 기반 의미적 그룹화, 임베딩 유사성 임계값 설정, 임베딩 기반 클러스터링, 정답 레이블을 사용한 상위 범주 기반 분할을 기반으로 훈련 및 테스트 세트 간의 상관 관계를 점진적으로 줄이는 훈련-테스트 분할 전략을 제시한다.

시사점, 한계점

훈련 및 테스트 범주 간의 상관 관계가 감소함에 따라 성능이 급격히 저하되어 분할 설계에 대한 강한 민감도를 나타낸다.
클러스터링 방법이 숨겨진 상관 관계를 줄이면서 학습 가능성을 유지하는 가장 효과적인 절충안을 제공한다.
현재 표현의 한계에 대한 새로운 통찰력을 제공하며, 속성 추론을 위한 향후 벤치마크 구성에 기여한다.
👍