Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Pretrained deep models outperform GBDTs in Learning-To-Rank under label scarcity

Created by
  • Haebom

저자

Charlie Hou, Kiran Koshy Thekumparampil, Michael Shavlovsky, Giulia Fanti, Yesh Dattatreya, Sujay Sanghavi

개요

본 논문은 기존 연구에서 심층 학습(DL) 모델이 이상치 데이터에서 그레이디언트 부스팅 의사결정 트리(GBDT)보다 성능이 떨어지는 현상을 확인하고, 이러한 현상이 이상적인 설정에 국한된다는 점을 지적합니다. 실제 시나리오의 복잡성을 고려하여, 레이블이 부족한 표 형식 학습-순위 매기기(LTR) 문제 설정에서 DL 모델이 GBDT를 능가할 수 있음을 보여줍니다. 특히, 검색 및 추천과 같은 표 형식 LTR 응용 프로그램은 레이블이 부족하지만, 레이블이 없는 데이터가 풍부한 경우가 많습니다. 본 논문은 DL 순위 매기기 모델이 비지도 사전 학습을 통해 이러한 레이블이 없는 데이터를 활용할 수 있음을 보이고, 공개 및 독점 데이터 세트에 대한 광범위한 실험을 통해 사전 학습된 DL 순위 매기기 모델이 GBDT 순위 매기기 모델보다 순위 지표에서 일관되게 우수한 성능을 보임을 증명합니다(최대 38% 향상).

시사점, 한계점

시사점: 레이블이 부족한 표 형식 LTR 문제에서 사전 학습된 DL 모델이 GBDT 모델보다 우수한 성능을 보임을 실험적으로 입증하여, DL 모델의 실제 적용 가능성을 확대합니다. 비지도 사전 학습을 통해 레이블이 없는 데이터를 효과적으로 활용하는 방법을 제시합니다.
한계점: 본 논문의 실험 결과는 특정 유형의 데이터(레이블이 부족한 표 형식 LTR 데이터)에 국한되어 일반화에 대한 추가 연구가 필요합니다. 사용된 독점 데이터셋에 대한 자세한 정보가 부족하여 결과의 재현성에 대한 검증이 필요할 수 있습니다. 다양한 DL 모델과 GBDT 모델의 비교가 아닌 특정 모델 간의 비교이므로, 더 폭넓은 모델 비교 연구가 필요할 수 있습니다.
👍