LATTE: Learning Aligned Transactions and Textual Embeddings for Bank Clients
Created by
Haebom
저자
Egor Fadeev, Dzhambulat Mollaev, Aleksei Shestov, Omar Zoloev, Artem Sakhno, Dmitry Korolev, Ivan Kireev, Andrey Savchenko, Maksim Makarenko
개요
본 논문은 금융 분야에서 고객의 과거 통신 시퀀스를 기반으로 고객 임베딩을 학습하는 문제에 초점을 맞춘다. 대규모 언어 모델(LLM)은 일반적인 지식을 제공하지만, 긴 이벤트 시퀀스에 직접 적용하는 것은 계산 비용이 크고 현실적인 파이프라인에 적용하기 어렵다. 이를 해결하기 위해, LATTE라는 대조 학습 프레임워크를 제안한다. LATTE는 원시 이벤트 임베딩과 고정된 LLM의 의미론적 임베딩을 정렬한다. 행동 특징은 짧은 프롬프트로 요약되고, LLM에 의해 임베딩되며, 대조 손실을 통해 감독 학습에 사용된다. 제안된 방법은 LLM을 사용하여 전체 시퀀스를 처리하는 기존 방식에 비해 추론 비용과 입력 크기를 현저히 줄인다. 실제 금융 데이터셋에서 이벤트 시퀀스 표현 학습에 대한 최첨단 기술을 능가하며, 지연 시간에 민감한 환경에서도 배포 가능하다.
시사점, 한계점
•
시사점:
◦
LATTE는 금융 분야에서 고객의 과거 통신 시퀀스를 효과적으로 처리하여 고객 임베딩을 학습하는 새로운 프레임워크를 제시한다.
◦
LLM을 활용하면서도, 추론 비용과 입력 크기를 줄여 실제 환경에서 배포 가능한 솔루션을 제공한다.
◦
실제 금융 데이터셋에서 기존 기술보다 우수한 성능을 보인다.
•
한계점:
◦
논문에서 구체적인 한계점은 명시되어 있지 않음.
◦
LLM의 성능에 크게 의존하며, LLM의 한계가 LATTE의 성능에도 영향을 미칠 수 있다.
◦
사용된 LLM의 종류, 프롬프트 엔지니어링의 상세 내용, 다른 데이터셋에 대한 일반화 성능 등에 대한 추가적인 연구가 필요할 수 있다.
