본 논문은 AI의 과대 광고 시대에도 전통적인 분류 접근 방식이 여전히 유용함을 보여줍니다. Thumbtack 고객이 제공한 홈 서비스 프로젝트 설명의 텍스트와 이미지를 사용하여 임베딩 기반 softmax 모델을 구축하여 각 문제 설명과 관련된 전문 분야(예: 수리공, 욕실 개조)를 예측합니다. 이를 최첨단 LLM 모델을 사용한 프롬프트 기반 접근 방식과 비교하여 정확도, 보정, 지연 시간 및 비용 측면에서 임베딩 접근 방식이 우수함을 보여줍니다. 특히, 임베딩 방식은 프롬프트 방식보다 정확도가 49.5% 높았으며, 텍스트 전용, 이미지 전용 및 텍스트-이미지 문제 설명에서 일관되게 우수한 성능을 보였습니다. 또한, 잘 보정된 확률을 생성하여 배포 중에 상황에 맞는 사용자 경험을 제공하는 데 사용했습니다. 반면, 프롬프트 점수는 정보가 부족했습니다. 마지막으로, 임베딩 접근 방식은 이미지 및 텍스트 처리 속도가 프롬프트 방식보다 각각 14배 및 81배 빨랐으며, 현실적인 배포 가정 하에서 최대 10배 저렴할 수 있습니다. 이러한 결과를 바탕으로 임베딩 접근 방식의 변형을 배포하여 A/B 테스트를 통해 오프라인 분석 결과와 일치하는 성능을 확인했습니다. 본 연구는 독점 데이터 세트를 활용할 수 있는 다중 클래스 분류 문제의 경우 임베딩 기반 접근 방식이 훨씬 더 나은 결과를 얻을 수 있음을 보여줍니다.
