Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Orion-Bix: Bi-Axial Attention for Tabular In-Context Learning

Created by
  • Haebom
Category
Empty

저자

Mohamed Bouadi, Pratinav Seth, Aditya Tanna, Vinay Kumar Sankarapu

개요

Orion-Bix는 표 형식 데이터를 위한 파운데이션 모델로, 혼합된 숫자 및 범주형 필드, 약한 특징 구조, 제한된 레이블 데이터를 처리하는 데 어려움을 겪는 현실 세계의 머신 러닝 애플리케이션을 해결하기 위해 개발되었습니다. 이 모델은 양방향 어텐션과 메타 학습된 문맥 내 추론을 결합하여 소수 샷 표 형식 학습을 수행합니다. 표준, 그룹화된, 계층적 및 관계형 어텐션을 교대로 사용하며, multi-CLS 요약을 통해 로컬 및 글로벌 종속성을 효율적으로 캡처합니다. 레이블 인식 ICL 헤드는 즉시 적응하며, 계층적 의사 결정 라우팅을 통해 큰 레이블 공간으로 확장됩니다. 인과적 사전 지식을 사용하여 합성적으로 생성된 구조적으로 다양한 테이블에 대해 메타 학습되었으며, 이종 데이터 간에 전이 가능한 귀납적 편향을 학습합니다. scikit-learn 호환 파운데이션 모델로 제공되며, 그래디언트 부스팅 기준선을 능가하고 공개 벤치마크에서 최첨단 표 형식 파운데이션 모델과 경쟁하며, 양방향 어텐션과 에피소드 메타 학습이 강력하고 소수 샷 준비된 표 형식 학습을 가능하게 함을 보여줍니다.

시사점, 한계점

•
시사점:
◦
양방향 어텐션과 메타 학습된 문맥 내 추론을 결합하여 소수 샷 표 형식 학습 가능.
◦
표 형식 데이터에서 그래디언트 부스팅 및 기존 파운데이션 모델보다 우수한 성능.
◦
scikit-learn 호환 모델로 구현되어 사용 용이성 증대.
◦
다양한 데이터셋에 걸쳐 전이 가능한 귀납적 편향 학습.
•
한계점:
◦
구체적인 한계점은 논문 내용에서 명시되지 않음 (추후 논문 상세 내용 확인 필요).
👍
Made with Slashpage