Sign In

Can Large Language Models Extract Customer Needs as well as Professional Analysts?

Created by
  • Haebom
Category
Empty

저자

Artem Timoshenko, Chengfeng Mao, John R. Hauser

개요

본 논문은 대규모 언어 모델(LLM)을 활용하여 고객 니즈(CNs)를 자동으로 추출하는 방법을 연구합니다. 고객 경험의 뉘앙스를 이해하고 "수행해야 할 작업(jobs to be done)"을 간결하게 공식화하는 것은 인지적으로 복잡하고 시간이 많이 소요되는 작업이기 때문에, 기존에는 전문 분석가가 텍스트 데이터를 해석하는 방식에 의존했습니다. 본 연구는 기본 LLM, 전문가가 식별한 CN으로 미세 조정된 LLM(SFT LLM), 그리고 전문 분석가 세 가지 방식으로 추출한 CNs를 맹검 연구를 통해 비교 분석합니다. 그 결과, SFT LLM이 전문 분석가와 동등하거나 더 나은 성능을 보이며, 효율성과 완전성 측면에서 우수함을 확인했습니다. 반면 기본 LLM은 정확성과 특이성이 부족했습니다.

시사점, 한계점

시사점:
SFT LLM을 활용하여 고객 니즈 추출 과정의 수작업을 줄일 수 있습니다.
고객 니즈 표현의 정확성을 높이고, 혁신과 마케팅 전략에 대한 통찰력을 향상시킬 수 있습니다.
SFT LLM은 전문가 수준의 고객 니즈 추출 성능을 제공합니다.
효율적인 고객 니즈 파악을 통해 더욱 완전한 고객 니즈 정보를 얻을 수 있습니다.
한계점:
기본 LLM은 정확성과 특이성이 부족하여 고객 니즈 추출에 적합하지 않음을 보여줍니다.
본 연구는 특정 마케팅 컨설팅 회사와의 협력을 통해 진행되었으므로, 다른 산업이나 데이터셋에 대한 일반화 가능성은 추가 연구가 필요합니다.
SFT LLM의 성능은 사용된 미세 조정 데이터의 질에 크게 의존할 수 있습니다.
👍