CONE: Embeddings for Complex Numerical Data Preserving Unit and Variable Semantics

Created by

Haebom

저자

Gyanendra Shrestha, Anna Pyayt, Michael Gubanov

💡 개요

본 논문은 숫자 데이터 처리에서 LLM의 성능 한계를 극복하기 위해 숫자, 범위, 가우시안 분포를 포함한 복잡한 수치 데이터를 단위와 변수 의미를 보존하며 인코딩하는 새로운 방법론인 CONE를 제안합니다. CONE은 수치 값, 범위 또는 가우시안과 단위 및 속성 이름을 결합하는 독창적인 복합 임베딩 구축 알고리즘을 통해 복잡한 수치 데이터의 의미를 정확하게 포착합니다. 웹, 의료, 금융, 정부 등 다양한 도메인의 대규모 데이터셋에 대한 광범위한 실험 결과, CONE은 DROP 데이터셋에서 87.28%의 F1 점수를 달성하며 최신 기술(SOTA) 대비 최대 9.37%의 성능 향상을 보여 강력한 수치 추론 능력을 입증했습니다.

🔑 시사점 및 한계

•

복잡한 수치 데이터의 단위 및 변수 의미를 효과적으로 보존하는 새로운 임베딩 방법론 제시.

•

다양한 도메인의 대규모 데이터셋에서 최신 기술 대비 뛰어난 수치 추론 성능 입증.

•

수치 데이터 처리에 어려움을 겪는 기존 LLM의 한계를 극복할 수 있는 가능성 제시.

•

CONE의 일반화 성능 및 다른 종류의 복잡한 수치 데이터(예: 시계열 데이터)에 대한 적용 가능성 연구 필요.

PDF 보기

Made with Slashpage