Benchmarking Patent Embeddings: A Multi-Task Evaluation of 22 Models Across Retrieval, Classification, and Clustering
Author
- Haebom
Category
Empty
저자
Amirhossein Yousefiramandi, Ciaran Cooney
💡 개요
본 연구는 특허 임베딩 모델의 성능을 정보 검색, 분류, 클러스터링의 세 가지 작업에 걸쳐 22개 모델을 평가하여 특허 임베딩 활용에 대한 두 가지 질문에 답합니다. 연구 결과, 최적의 파인튜닝 방법은 다운스트림 작업에 따라 달라지며, 단일 도메인에서의 파인튜닝은 다른 도메인에서의 정보 검색 성능을 저하시킬 수 있음을 발견했습니다. 또한, 모델 크기 확장에 있어서는 같은 계열 내에서는 일관성이 있으나 계열 간에는 불규칙적인 경향을 보였습니다.
🔑 시사점 및 한계
•
특허 임베딩 모델의 성능은 특정 다운스트림 작업에 최적화된 파인튜닝 방법에 따라 크게 달라집니다.
•
한 도메인에서 파인튜닝된 모델은 다른 도메인에서의 정보 검색 성능이 저하될 수 있으며, 특히 강력한 제로샷 성능을 가진 모델일수록 더 큰 영향을 받습니다.
•
모델 크기 확장은 계열 내에서는 예측 가능하지만, 계열 간에는 불규칙적인 성능 변화를 보입니다.
•
모델의 IN/OUT-of-domain 성능 격차를 줄이기 위한 효과적인 방법이 부족하며, 하이브리드 BM25-dense 퓨전으로도 개선되지 않았습니다.
•
향후 연구에서는 이러한 성능 격차를 해소하고 다양한 도메인에 걸쳐 일반화되는 특허 임베딩 모델 개발에 초점을 맞춰야 할 것입니다.
