LATTE: Learning Aligned Transactions and Textual Embeddings for Bank Clients
Created by
Haebom
저자
Egor Fadeev, Dzhambulat Mollaev, Aleksei Shestov, Dima Korolev, Omar Zoloev, Ivan Kireev, Andrey Savchenko, Maksim Makarenko
개요
본 논문은 금융 애플리케이션에서 고객 임베딩을 학습하는 새로운 프레임워크인 LATTE를 제안합니다. 기존의 대규모 언어 모델(LLM)을 이용한 방법은 장기 이벤트 시퀀스 처리에 계산 비용이 많이 들고 실제 파이프라인에 적용하기 어렵다는 문제점을 가지고 있습니다. LATTE는 원시 이벤트 임베딩과 동결된 LLM에서 추출한 의미적 임베딩을 정렬하는 대조 학습 프레임워크로, 행동 특징을 짧은 프롬프트로 요약하여 LLM을 통해 임베딩하고, 대조 손실을 통해 지도 학습을 수행합니다. 이는 LLM을 이용한 전체 시퀀스 처리 방식에 비해 추론 비용과 입력 크기를 크게 줄여줍니다. 실제 금융 데이터셋을 이용한 실험 결과, LATTE는 기존 최첨단 기술보다 우수한 성능을 보이며 지연 시간에 민감한 환경에서도 배포 가능함을 보여줍니다.
시사점, 한계점
•
시사점:
◦
LLM을 활용하면서도 계산 비용과 지연 시간 문제를 효과적으로 해결하는 새로운 금융 애플리케이션용 고객 임베딩 학습 방법을 제시.
