LOBERT는 금융 시장의 Limit Order Book (LOB) 데이터를 처리하기 위한 일반 목적의 encoder-only 기반 모델로, 기존 BERT 아키텍처를 LOB 데이터에 맞춰 개조했습니다. 불규칙한 이벤트 타이밍, 빠른 regime shift, 고빈도 거래자의 반응 등 LOB 데이터 모델링의 어려움을 해결하기 위해 개발되었으며, 복잡한 데이터 표현을 단순화하고 다양한 다운스트림 작업에 적용 가능하도록 설계되었습니다. LOBERT는 가격, 거래량, 시간 등의 연속적인 표현을 유지하면서, 완전한 다차원 메시지를 단일 토큰으로 처리하는 새로운 토큰화 방식을 사용합니다. 그 결과, LOBERT는 중간 가격 변동 예측 및 다음 메시지 예측과 같은 작업에서 뛰어난 성능을 보이며, 기존 방법에 비해 필요한 컨텍스트 길이를 줄였습니다.
