Orion-MSP는 복잡한 특징 유형과 다중 규모에서 발생하는 상호 작용으로 인해 어려운 표 형식 데이터를 위한 효과적인 신경망 모델 개발 문제를 해결하기 위해 제시된 표 형식 In-Context Learning (ICL) 아키텍처입니다. TabPFN 및 TabICL과 같은 기존 ICL 모델의 한계를 극복하기 위해 Orion-MSP는 (1) 계층적 특징 상호 작용을 포착하는 다중 규모 처리, (2) 효율성과 장거리 연결을 위한 블록 희소 어텐션, (3) 구성 요소 간 안전한 양방향 정보 흐름을 가능하게 하는 Perceiver 스타일 메모리를 특징으로 합니다. 다양한 벤치마크에서 Orion-MSP는 최고 성능을 달성했으며, 고차원 테이블로의 효과적인 확장을 통해 효율적인 표 형식 In-Context Learning의 새로운 표준을 제시합니다.
