최근 웹 애플리케이션에서 실시간 기능의 중요성이 점점 더 커지고 있는 것을 체감하고 있는 중에 벨루가도 SSE(Server-Sent Events) 을 적용하여 AI 답변을 제공하면 어떨까를 고민하며 프로젝트를 진행해보고 그 경험을 공유하고자 합니다. 지금도 벨루가는 스트리밍 방식으로 AI답변을 제공하고 있지만 단순 텍스트를 스트리밍하고 있는 구조로 되어 있어 클라이언트 개발자의 부담이 크며 유지보수 또한 쉽지 않은 구조로 이루어져 있습니다. 모든 메타데이터(출처, 답변생성 프로세스등..)를 답변과 함께 텍스트로 전달 되기 때문입니다. SSE(Server-Sent Events)란 무엇인가? SSE(Server-Sent Events) 는 서버가 클라이언트(웹 브라우저)에 정보를 푸시하는 방식입니다. 웹에서는 보통 클라이언트가 서버에 요청(request)을 보내고 서버가 응답(response)을 반환하는 구조인데, SSE는 이와 반대로 서버에서 초기 연결 후 계속해서 데이터를 클라이언트에게 보낼 수 있게 해줍니다. 이 기술은 특히 뉴스 피드, 실시간 알림, 또는 챗봇과 같은 애플리케이션에 매우 유용합니다. 이미지 출처: Exploring SSE (Server-Sent Events): Real-Time Updates for Your Applications! SSE의 선택 이유 WebSocket과 같은 다른 기술들도 고려했지만, SSE를 선택한 이유는 서버 설정이 간단하고, 양방향이 아닌 클라이언트와의 단방향 통신만 하면 되기 때문입니다. SSE는 HTTP를 사용하기 때문에 기존 웹 인프라와의 호환성도 뛰어나다는 장점이 있습니다. 구현 과정 API 서버 Python의 FastAPI 프레임워크를 사용하여 서버를 구축했습니다. 이 서버는 사용자로부터 질문을 받아 OpenAI의 GPT-3.5 모델에 전달하고, 생성된 응답을 실시간으로 사용자에게 스트리밍하는 역할을 합니다. 챗봇 서버 생성: FastAPI를 사용하여 웹 서버를 구축하고, CORS 설정을 통해 모든 출처에서의 접근을 허용했습니다. GPT-3.5 연동: 사용자의 입력을 받아 처리한 후, 생성된 텍스트를 실시간으로 스트리밍하기 위해 SSE를 구현했습니다. 스트리밍 로직: sse_generator 함수는 GPT 모델로부터 받은 데이터를 yield를 통해 클라이언트에 전송하고 await asyncio.sleep(0) 을 사용하여 이벤트 루프의 블로킹을 방지하고 다른 네트워크 태스크에 CPU 자원을 제공해서 클라이언트가 실시간으로 데이터를 받을 수 있도록 구현했습니다. 클라이언트 서버 웹 클라이언트는 React를 사용하여 구현했습니다. React를 선택한 이유는 특별한 이유가 있다기 보다는 벨루가 클라이언트가 React로 개발되어 있기 때문입니다. React는 동적인 UI를 구축하기에 적합하며, 컴포넌트 기반의 구조 덕분에 유지보수와 코드 관리가 용이하다는 장점이 있고 무엇보다 중요한건 Server-Sent Events(SSE) 를 활용하여 서버로부터의 스트리밍 데이터를 효과적으로 처리할 수 있다는 것입니다.

대화형 마케팅(Conversational Marketing, CM)은 고객과의 실시간 대화를 통해 관계를 구축하고, 고객의 요구를 즉시 파악하여 개인화된 경험을 제공하는 마케팅 접근 방식입니다. 이 전략은 전통적인 마케팅의 일방적인 커뮤니케이션을 벗어나, 고객과의 쌍방향 대화를 통해 신뢰와 충성도를 증진시키는 데 중점을 둡니다. 다음은 대화형 마케팅의 몇 가지 주요 특징과 예시를 포함하여 설명합니다. 대화형 AI나 AI 챗봇을 활용한 마케팅은 고객 서비스와 상호작용의 효율성을 높이는 동시에 개인화된 경험을 제공하여 고객 만족도를 크게 향상시킬 수 있습니다. AI 챗봇은 실시간으로 대화하면서 고객의 질문에 답하고, 필요한 정보를 제공하는 등 다양한 역할을 수행합니다. 여기에 AI 챗봇을 활용한 마케팅 전략에 대해 자세히 설명드리겠습니다. 1. 실시간 고객 지원 설명: AI 챗봇은 고객이 언제든지 원하는 정보를 즉시 얻을 수 있도록 도와줍니다. 이는 고객의 문의에 빠르게 응답하고, 만족도를 높이는 데 기여합니다. 예시: 웹사이트에 방문한 고객이 제품에 대해 궁금한 점을 챗봇에게 질문하고, 챗봇이 데이터베이스에서 즉시 관련 정보를 찾아 답변합니다. 2. 개인화된 추천 제공 설명: AI 챗봇은 고객의 이전 대화 내용, 구매 이력, 선호도를 분석하여 맞춤형 제안을 할 수 있습니다. 예시: 고객이 온라인 쇼핑몰에서 노트북을 검색할 때, 챗봇이 사용자의 구매 이력과 선호도를 분석하여 최적의 노트북을 추천합니다. 3. 구매 과정 최적화 설명: AI 챗봇은 고객의 구매 결정 과정을 돕고, 각 단계에서 필요한 정보를 제공하여 구매를 촉진합니다. 예시: 고객이 결제 과정에서 어려움을 겪을 때, 챗봇이 즉시 도움을 제공하며 결제 완료를 돕습니다. 4. 고객 참여 유도 설명: AI 챗봇은 대화를 통해 고객 참여를 유도하고, 이를 통해 고객의 의견을 수집하거나 피드백을 받습니다. 예시: 챗봇이 고객에게 최근 구매 제품에 대한 만족도 조사를 실시하고, 이를 바탕으로 서비스 개선에 활용합니다. 5. 장기적 관계 구축 설명: AI 챗봇은 정기적으로 고객에게 유용한 정보를 제공하고, 고객의 요구에 꾸준히 응답함으로써 신뢰 관계를 구축합니다. 예시: 챗봇이 고객의 생일이나 기념일에 맞춰 특별 할인 정보나 축하 메시지를 보내 관계를 강화합니다. AI 챗봇을 이용한 대화형 마케팅은 기업이 고객과의 지속적인 상호작용을 통해 더욱 신속하고 효과적으로 응대할 수 있게 도와줍니다. 이를 통해 고객 경험을 향상시키고, 브랜드 충성도를 높이는 데 크게 기여할 수 있습니다.

안녕하세요, 이번 글에서는 벨루가에서 최근 시작하게 된 추천 시스템 프로젝트에 대해 소개하려 합니다. 추천 시스템은 이제 우리 일상 속에 깊숙이 자리잡았습니다. 쇼핑몰에서 상품을 추천받기도 하고, 음악 스트리밍 서비스에서 새로운 아티스트를 발견하기도 하죠. 이런 추천 시스템은 크게 두 가지 상황에서 사용 될 수 있다고 보았습니다. 첫째는 사용자가 직접 추천을 요청하는 경우이고, 둘째는 사용자의 행동과 상황을 분석하여 자동으로 추천하는 경우입니다. 개인적으로는 후자에 더 관심이 있는데요, 사용자의 니즈를 예측하여 능동적으로 추천하는 시스템을 만들고 싶었습니다. 그리고 우리 벨루가에서 탬플릿화 또는 솔루션화 될 수 있게 설계를 하면 좋겠다고도 생각했습니다. 나아가 수많은 카페24, 고도몰, 네이버 스마트 스토어와 연결하여 사용할 수 있겠다는 생각도 해봅니다. 하지만 막상 프로젝트를 시작하려니 고민이 많이 됐습니다. 사용성을 이해하고 신용카드 관련 도메인 지식이 가지고 있는게 아니거든요. 이럴 때는 어떻게 해야 할까요? 저희는 데이터에서 힌트를 찾기로 했습니다. 데이터 확보가 용이한 것 부터 생각해보기로. 아니면 약간의 상상으로 데이터를 만들 수 있다면 최소한의 검증을 할 수 있다고 생각했죠. 그리고 당현히 벨루가 팀은 RAG(Retrieval-Augmented Generation)와 Graph DB를 활용하기로 했습니다. RAG는 정보 검색과 생성을 결합하여 정확한 답변을 만들어내는 강력한 도구입니다. 여기에 Graph DB를 결합하면 데이터 간의 복잡한 관계성을 더 잘 활용할 수 있죠. 물론 Graph DB를 사용하는 데는 비용과 성능 이슈가 있습니다. 그리고 GPT, Claude, Gemini, Llama 3, Cohere 등과 같은 언어 모델 API를 사용하는 것도 속도와 비용 면에서 부담이 될 수 있죠. 하지만 개인화된 추천의 가치를 생각한다면 이 정도 투자는 충분히 의미 있다고 생각했습니다. 그리고 앞으로 더욱더 개인화는 세계적인 흐름이 될 것이라 생각 하고 있습니다. 또 한 가지 고민은 Graph DB의 엔티티를 어떻게 구분할 것인가였습니다. 사람이 일일이 정의하는 것도 방법이지만, 언어 모델을 활용한 자동화도 생각해 볼 만합니다. 이를 통해 시스템의 효율성을 한층 높일 수 있을 것 같았죠. 벨루가팀은 이 프로젝트를 통해 신용카드 맛집 추천 시스템을 만들어 보려 합니다. 사용자의 위치 정보, 신용카드 정보, 맛집 정보 등을 종합하여 가장 혜택을 많이 받을 수 있는 맛집을 추천하는 거죠. 이를 통해 신용카드 사용률도 높이고, 사용자 경험도 개선할 수 있을 것이라 기대하고 있습니다. 사실 저 자신은 추천 시스템을 잘 활용하지 않는 편인데요, 그 이유는 추천이 제 취향과 잘 맞지 않기 때문이었습니다. 하지만 이번 프로젝트를 통해 진정으로 개인화된 추천 시스템을 만들어 본다면, 저 같은 사용자들의 만족도도 크게 향상시킬 수 있지 않을까요? 물론 이 여정이 순탄치만은 않을 것입니다. 주어진 시간은 3~4주 정도, 시행착오도 있을 테고, 예상치 못한 어려움도 만날 수 있죠. 하지만 그 과정에서 배우고 성장하는 것, 그것이 이 프로젝트의 가장 큰 의미라고 생각합니다. 작은 성공부터 하나씩 쌓아가다 보면, 분명 값진 결실을 맺을 수 있을 거예요. 프로젝트가 완성되는 그 날까지, 벨루가는 계속해서 도전하겠습니다. 이 블로그를 통해 그 여정을 여러분과 함께 나누고 싶네요. 앞으로의 이야기가 기대되시나요? 저도 마찬가지랍니다. 여러분도 각자의 분야에서 새로운 도전을 시작해 보시는 건 어떨까요? 언제나 여러분의 도전을 응원하겠습니다. 다음 글에서 다시 만나요, 감사합니다! 예상 되는 설계 방향