합성소비자, 정확히 무엇인가? '합성소비자(Synthetic Consumers)' 또는 '합성응답(Synthetic Responses)'이란, AI가 실제 소비자를 시뮬레이션하여 설문이나 인터뷰에 응답하는 것을 말합니다. 쉽게 비유하면 이렇습니다. 영화 제작에서 '스턴트맨'이 위험한 장면을 대신 촬영하듯, 합성소비자는 실제 소비자 대신 설문에 응답합니다. 단, 스턴트맨이 배우의 움직임을 완벽히 재현하듯, 합성소비자도 실제 소비자의 태도와 선호도를 높은 정확도로 재현해야 의미가 있습니다. 이것이 가능한 이유는 대규모 언어모델(LLM)이 인터넷상의 방대한 소비자 리뷰, 포럼 토론, 구매 후기 등을 학습했기 때문입니다. 이 학습 데이터에는 소비자들이 제품에 대해 어떻게 생각하고, 무엇을 선호하며, 어떤 가격대에 반응하는지에 대한 정보가 담겨 있습니다. 그렇다면 실제로 얼마나 정확할까요? 최근 발표된 두 편의 주요 연구가 이 질문에 답합니다. 🎓 연구 1: 하버드 비즈니스 스쿨 "Using LLMs for Market Research" 2025년 10월, 하버드 비즈니스 스쿨의 Ayelet Israeli 교수와 Microsoft 연구팀이 "Using LLMs for Market Research" 논문을 발표했습니다. 연구팀은 GPT-3.5 Turbo를 활용해 소비자의 **지불의향가격(WTP, Willingness-to-Pay)**을 추정하고, 이를 실제 인간 설문 결과와 비교했습니다. 핵심 실험 결과: 치약의 '불소(Fluoride)' 성분에 대한 WTP를 비교했을 때: GPT 추정값: $3.40 인간 설문 결과 (Fong et al. 2023): $3.27 두 값의 차이가 4% 미만입니다. 더 중요한 것은, Fong et al.(2023) 연구가 자신들의 설문 결과가 실제 시장 결과와 일치함을 검증했다는 점입니다. 즉, GPT의 추정치가 실제 시장 행동과도 유사할 가능성이 높다는 것입니다. 연구팀은 한 걸음 더 나아가, 기존 인간 설문 데이터를 GPT에 추가적으로 제시했을 때 어떤 변화가 있는지 실험했습니다. 결과는 놀라웠습니다. 새로운 제품 특성에 대해서도 예측 정확도가 크게 향상되었습니다: 노트북의 '내장 프로젝터' 기능에 대한 WTP: 정보 제시 전 GPT는 인간의 3배 이상을 추정했으나, 추가 정보 제시 후 인간 추정치와 거의 일치 치약의 새로운 맛(오이, 팬케이크)에 대한 선호도: 정보 제시 전에는 부호(+/-)가 반대였으나, 추가 정보 제시 후 인간과 동일한 방향으로 수정 연구팀의 결론은 명확합니다: "GPT를 새로운 아이디어를 빠르게 테스트하고 범위를 좁히는 도구로 활용할 것을 권장한다." 🔬 연구 2: 스탠포드 "Generative Agent Simulations of 1,000 People" 2024년 11월, 스탠포드대학의 Joon Sung Park 연구팀도 야심찬 연구를 발표합니다. 하버드 연구가 '일반적인 소비자'를 시뮬레이션했다면, 스탠포드 연구는 특정 개인을 복제하는 데 도전했습니다. 연구 방법: 연구팀은 1,052명의 미국인을 모집하고, 각각 2시간 동안 심층 인터뷰를 진행했습니다. 인터뷰에서는 어린 시절, 핵심 기억, 직업, 이민 정책에 대한 생각 등 다양한 주제를 다뤘습니다. 이 인터뷰 데이터를 LLM과 결합하여 각 개인을 시뮬레이션하는 AI 에이전트를 생성했습니다. 검증 방법:

합성 소비자(Synthetic Consumer) 기술의 핵심은 합성 소비자가 내놓은 응답이 실제 소비자의 응답과 얼마나 비슷한지 검증하는 것입니다. 보통 해외 논문이나 기업에서는 두 응답의 유사성을 비교할 때 스피어만 상관계수(Spearman Correlation)라는 지표를 주로 사용합니다. 하지만 저희 인텔리시아는 훨씬 더 정교한 검증을 위해, 응답의 다양한 특성을 반영하는 5가지 지표를 함께 활용하고 있습니다. 오늘은 저희가 사용하는 이 지표들에 대해 설명드리고자 합니다. 종합 유사도 지표(CSI) 구성을 위한 5가지 핵심 지표 저희는 설문에 포함된 모든 문항에 대해서 합성 소비자와 실제 소비자가 각 보기를 선택한 비율이 얼마나 차이 나는지를 분석하여 유사도를 측정합니다. JS Similarity (Jensen-Shannon Similarity) "응답 분포 모양이 얼마나 똑같은가?" 이 지표는 합성 소비자의 응답 분포가 실제 소비자의 응답 분포와 얼마나 닮았는지를 측정합니다. 기존에 쓰이던 방식(KL-Divergence)의 단점을 보완하여, 두 응답 분포의 닮은 정도를 0과 1 사이의 숫자로 알기 쉽게 나타낸 것입니다. 이 값이 높을수록 합성 소비자가 어느 한쪽으로 치우치지 않고, 실제 사람들의 전체적인 응답 분포 모양을 완벽하게 재현했음을 의미합니다. Spearman Correlation (스피어만 상관계수) "응답 항목 간의 순위를 정확히 맞추었는가?" 응답의 구체적인 수치보다는 '순위'가 맞는지 확인하는 지표입니다. 소비자 조사에서는 정확한 응답 비율만큼이나 "A보다 B를 더 좋아한다"는 서열 관계가 중요한 경우가 많습니다. 스피어만 상관계수는 합성 소비자가 실제 소비자들이 느끼는 제품이나 속성 간의 우열 관계, 그리고 선호 순위를 얼마나 잘 따라 했는지 평가하는 데 최적화된 지표입니다. Pearson Correlation (피어슨 상관계수) "데이터가 움직이는 방향과 강도가 일치하는가?" 두 변수 간의 선형적인 관계를 보는 가장 대표적인 통계 지표입니다. 실제 소비자의 응답률이 높은 항목은 합성 소비자도 높게, 낮은 항목은 낮게 응답하는지를 봅니다. 스피어만 상관계수가 '순서'를 본다면, 피어슨 상관계수는 '값의 추세'를 봅니다. 예를 들어 실제 소비자의 선택 비율이 10%에서 20%로 늘어날 때, 합성 소비자도 그에 비례해서 수치가 증가하는지를 확인하는 것입니다. 이 점수가 높다는 것은 합성 소비자가 실제 소비자의 응답 변화 패턴을 그대로 따라가고 있음을 의미합니다. 1 - MAE (Mean Absolute Error 역보정) "평균적으로 오차의 크기가 얼마나 작은가?" 평균 절대 오차(MAE)는 예측값과 실제값 사이의 오차가 평균적으로 얼마나 되는지를 나타냅니다. 저희는 이 오차 값을 '정확도' 개념으로 바꾸어(역보정) 사용합니다. 이 지표는 합성 소비자의 응답이 실제 소비자 응답과 비교했을 때, 평균적으로 얼마나 가까운지를 직관적으로 보여줍니다.