본 논문은 테이블 형식의 In-Context Learning (ICL) 모델의 발전을 다루며, 특히 기존 모델의 한계를 극복하고자 한다. 기존 테이블 기반 ICL 모델은 구조적으로 효율적이지만, 주로 합성 데이터로 훈련되어 실제 테이블 데이터의 풍부한 의미론적 정보와 지식을 충분히 활용하지 못한다. 반면, 사전 훈련된 대규모 언어 모델 기반의 테이블 ICL 모델은 깊은 의미 이해와 세계 지식을 통합하지만, 구조적 제한으로 인해 제한된 양의 컨텍스트만 사용할 수 있다. 이러한 문제를 해결하기 위해, 본 연구에서는 ConTextTab 모델을 제안한다. ConTextTab는 의미 이해와 정렬을 테이블 기반 ICL 프레임워크에 통합하며, 다양한 데이터 형식에 특화된 임베딩을 사용하고 대규모 실제 테이블 데이터로 훈련된다. 이 모델은 다양한 벤치마크에서 SOTA 수준의 성능을 보이며, 특히 의미론적으로 풍부한 CARTE 벤치마크에서 새로운 기준을 제시한다.
