벨루가의 맛집 추천 채널 (단답형 QnA 템플릿 사용)
S
SangYeon_Lee
우리 서버 개발자분의 아이디어를 토대로 만든 맛집 추천 채널
1.
벨루가에서 단답형 QnA 템플릿 사용
a.
이유는 배고 픈데 대화할 시간이 없어서, 물으면 바로 답하게 하려고
2.
제작 이유: 평소 벨루가 팀은 뭘 먹을지 참 어렵게 정해서
a.
+ 이미지 링클를 활용한 채팅 UI 노출 테스
b.
뭔가 추천에 적절한 템플릿도 만들려고
양질의 데이터 보여주는 힘
요즘들어 더욱 느끼지만 양질의 데이터가 얼마나 중요한지 되세기에 적절한 케이스
여기 사용된 데이터는 크롤링으로 꽤 많은 양과 (개략 몇천개는 되는듯) 정형화 된 데이터를 수
너무 많아서 데이터 올리는데만 30분은 넘게 쓴것 같음
데이터
전체 약 38만 곳
데이터 구조
주소 | 장소 | 카테고리 |이미지 | 키워드 | 이름 |연략처 | 추천 | 리뷰 | 점수 | 리뷰내용
우리 개발자 분이 딱 필요하다고 생각하는 요소를 잘 정리해 주심
고급 설정을 사용 아래와 같이 기본 값 적용
Temperature(온도) 1.0 —> 0 으로 변경
Top P: 1.0
Maximum Length(최대 토큰) 2048
Top K: 6
지난 메세지: 1
모델: haiku와 gpt 3.5 turbo 만 사용
(주의) 사실 주소와 관련해서 할루시네이션 발생함 gpt 4 turbo 이상 쓰면 대부분 해결됨.
2차 수정에서 할루시네이션 꽤 제거함
시스템 프롬프트 (귀차니즘으로 그냥 했으니 절대 학습용을 보시지는 마세요!)
유저 프롬프트 (귀차니즘으로 그냥 했으니 절대 학습용을 보시지는 마세요!)
뭐 나쁘진 않게 나옴
보완점
자신의 위치를 넣는 API를 붙이면 정말 편할듯
데이터 양이 많아서 편하게 올리고 업데이트 할 수 있는 방법이 절실 어디랑 제휴를 해야할 듯
2
👍😀😍
4
    S
    SangYeon_Lee
    일부 대화 살펴보니 지하철 역이나 주요 지명도 데이터를 올려야 할것 같아요. 주말에 해봐야할 것 같네요.
    😍
    1
    Y
    youni
    와.. 가이드 너무 꼼꼼하게 잘되어있어용
    👍
    1
/velugadoc
Subscribe
SSE(Server-Sent Events)를 활용한 실시간 스트리밍 도입 고민
최근 웹 애플리케이션에서 실시간 기능의 중요성이 점점 더 커지고 있는 것을 체감하고 있는 중에 벨루가도 SSE(Server-Sent Events) 을 적용하여 AI 답변을 제공하면 어떨까를 고민하며 프로젝트를 진행해보고 그 경험을 공유하고자 합니다. 지금도 벨루가는 스트리밍 방식으로 AI답변을 제공하고 있지만 단순 텍스트를 스트리밍하고 있는 구조로 되어 있어 클라이언트 개발자의 부담이 크며 유지보수 또한 쉽지 않은 구조로 이루어져 있습니다. 모든 메타데이터(출처, 답변생성 프로세스등..)를 답변과 함께 텍스트로 전달 되기 때문입니다. SSE(Server-Sent Events)란 무엇인가? SSE(Server-Sent Events) 는 서버가 클라이언트(웹 브라우저)에 정보를 푸시하는 방식입니다. 웹에서는 보통 클라이언트가 서버에 요청(request)을 보내고 서버가 응답(response)을 반환하는 구조인데, SSE는 이와 반대로 서버에서 초기 연결 후 계속해서 데이터를 클라이언트에게 보낼 수 있게 해줍니다. 이 기술은 특히 뉴스 피드, 실시간 알림, 또는 챗봇과 같은 애플리케이션에 매우 유용합니다. 이미지 출처: Exploring SSE (Server-Sent Events): Real-Time Updates for Your Applications! SSE의 선택 이유 WebSocket과 같은 다른 기술들도 고려했지만, SSE를 선택한 이유는 서버 설정이 간단하고, 양방향이 아닌 클라이언트와의 단방향 통신만 하면 되기 때문입니다. SSE는 HTTP를 사용하기 때문에 기존 웹 인프라와의 호환성도 뛰어나다는 장점이 있습니다. 구현 과정 API 서버 Python의 FastAPI 프레임워크를 사용하여 서버를 구축했습니다. 이 서버는 사용자로부터 질문을 받아 OpenAI의 GPT-3.5 모델에 전달하고, 생성된 응답을 실시간으로 사용자에게 스트리밍하는 역할을 합니다. 챗봇 서버 생성: FastAPI를 사용하여 웹 서버를 구축하고, CORS 설정을 통해 모든 출처에서의 접근을 허용했습니다. GPT-3.5 연동: 사용자의 입력을 받아 처리한 후, 생성된 텍스트를 실시간으로 스트리밍하기 위해 SSE를 구현했습니다. 스트리밍 로직: sse_generator 함수는 GPT 모델로부터 받은 데이터를 yield를 통해 클라이언트에 전송하고 await asyncio.sleep(0) 을 사용하여 이벤트 루프의 블로킹을 방지하고 다른 네트워크 태스크에 CPU 자원을 제공해서 클라이언트가 실시간으로 데이터를 받을 수 있도록 구현했습니다. 클라이언트 서버 웹 클라이언트는 React를 사용하여 구현했습니다. React를 선택한 이유는 특별한 이유가 있다기 보다는 벨루가 클라이언트가 React로 개발되어 있기 때문입니다. React는 동적인 UI를 구축하기에 적합하며, 컴포넌트 기반의 구조 덕분에 유지보수와 코드 관리가 용이하다는 장점이 있고 무엇보다 중요한건 Server-Sent Events(SSE) 를 활용하여 서버로부터의 스트리밍 데이터를 효과적으로 처리할 수 있다는 것입니다. 코드 주요 구성 요소 메시지 상태 관리 messages: 이 상태 배열은 채팅방에서 교환되는 모든 메시지를 저장합니다. 각 메시지는 고유 ID, 텍스트 내용, 그리고 메시지를 보낸 발신자(사용자 또는 AI)를 포함합니다. useState 훅을 사용하여 메시지 배열의 상태를 관리하고, 새로운 메시지가 추가될 때마다 상태를 업데이트 합니다. 사용자 입력 처리 input: 사용자가 입력창에 입력하는 텍스트를 저장하는 상태입니다. 사용자가 텍스트를 입력할 때마다 이 상태가 업데이트되며, 메시지를 전송한 후에는 이 입력 필드를 비웁니다. 메시지 ID 관리 nextMsgId: 메시지마다 고유한 ID를 할당하기 위해 사용되는 useRef 훅입니다. 이는 컴포넌트가 리렌더링될 때마다 초기화되지 않고, 메시지를 추가할 때마다 증가하여 각 메시지가 고유한 식별자를 가질 수 있도록 구성했습니다. 서버와의 실시간 통신 EventSource: 서버로부터 실시간으로 메시지를 받기 위해 사용되는 Web API입니다. 이 객체를 통해 위에서 만든 FastAPI 서버로부터 메시지 스트림을 실시간으로 받아, 메시지 상태에 추가할 수 있습니다. UI 구성 요소 채팅창을 표시하는 영역과 입력을 받는 입력박스을 추가했습니다. 익숙한 채팅창 스타일을 적용해서 질문과 답변을 구분할 수 있게 디자인 했습니다. 완성된 챗봇의 모습 입니다. 기획했던 대로 사용자의 입력을 API 서버로 전달하고 실시간으로 AI답변을 스트리밍하는 구조로 구현 되었습니다. 결론 AI가 제공하는 답변을 스트리밍 방식으로 받는 것과 모든 답변이 완성된 후 한번에 받는 것 사이에 실제 답변을 받는 총 시간은 차이가 없지만 사용자 경험 측면에서 보면, 스트리밍 방식이 마치 더 빠르게 응답을 받는 것 같은 느낌을 줄 수 있습니다. 따라서 사용자가 기다림을 덜 느끼게 하여 전반적인 만족도를 향상시키는 효과를 볼 수 있습니다. 특히, 사용자의 질문을 해석하고 답변을 생성하는 과정에서 프롬프트 체인 기법과 같은 동적인 처리가 필요한 챗봇을 구현할 때, 이벤트 스트리밍을 활용하면 답변 생성 과정을 사용자에게 실시간으로 보여주어서, 답변 처리 시간이 길어지는 불편함을 줄이는 데 효과적일 것입니다. 벨루가에서 기획중인 템플릿 중에 고급요약이나 모의면접등과 같은 AI 답변을 생성하는 프로세스가 복잡한 템플릿에 적용하게 된다면 사용자의 경험에서 만족도를 크게 높일 수 있을것 같습니다.
박진훈
챗봇 & 대화형 마케팅
대화형 마케팅(Conversational Marketing, CM)은 고객과의 실시간 대화를 통해 관계를 구축하고, 고객의 요구를 즉시 파악하여 개인화된 경험을 제공하는 마케팅 접근 방식입니다. 이 전략은 전통적인 마케팅의 일방적인 커뮤니케이션을 벗어나, 고객과의 쌍방향 대화를 통해 신뢰와 충성도를 증진시키는 데 중점을 둡니다. 다음은 대화형 마케팅의 몇 가지 주요 특징과 예시를 포함하여 설명합니다. 대화형 AI나 AI 챗봇을 활용한 마케팅은 고객 서비스와 상호작용의 효율성을 높이는 동시에 개인화된 경험을 제공하여 고객 만족도를 크게 향상시킬 수 있습니다. AI 챗봇은 실시간으로 대화하면서 고객의 질문에 답하고, 필요한 정보를 제공하는 등 다양한 역할을 수행합니다. 여기에 AI 챗봇을 활용한 마케팅 전략에 대해 자세히 설명드리겠습니다. 1. 실시간 고객 지원 설명: AI 챗봇은 고객이 언제든지 원하는 정보를 즉시 얻을 수 있도록 도와줍니다. 이는 고객의 문의에 빠르게 응답하고, 만족도를 높이는 데 기여합니다. 예시: 웹사이트에 방문한 고객이 제품에 대해 궁금한 점을 챗봇에게 질문하고, 챗봇이 데이터베이스에서 즉시 관련 정보를 찾아 답변합니다. 2. 개인화된 추천 제공 설명: AI 챗봇은 고객의 이전 대화 내용, 구매 이력, 선호도를 분석하여 맞춤형 제안을 할 수 있습니다. 예시: 고객이 온라인 쇼핑몰에서 노트북을 검색할 때, 챗봇이 사용자의 구매 이력과 선호도를 분석하여 최적의 노트북을 추천합니다. 3. 구매 과정 최적화 설명: AI 챗봇은 고객의 구매 결정 과정을 돕고, 각 단계에서 필요한 정보를 제공하여 구매를 촉진합니다. 예시: 고객이 결제 과정에서 어려움을 겪을 때, 챗봇이 즉시 도움을 제공하며 결제 완료를 돕습니다. 4. 고객 참여 유도 설명: AI 챗봇은 대화를 통해 고객 참여를 유도하고, 이를 통해 고객의 의견을 수집하거나 피드백을 받습니다. 예시: 챗봇이 고객에게 최근 구매 제품에 대한 만족도 조사를 실시하고, 이를 바탕으로 서비스 개선에 활용합니다. 5. 장기적 관계 구축 설명: AI 챗봇은 정기적으로 고객에게 유용한 정보를 제공하고, 고객의 요구에 꾸준히 응답함으로써 신뢰 관계를 구축합니다. 예시: 챗봇이 고객의 생일이나 기념일에 맞춰 특별 할인 정보나 축하 메시지를 보내 관계를 강화합니다. AI 챗봇을 이용한 대화형 마케팅은 기업이 고객과의 지속적인 상호작용을 통해 더욱 신속하고 효과적으로 응대할 수 있게 도와줍니다. 이를 통해 고객 경험을 향상시키고, 브랜드 충성도를 높이는 데 크게 기여할 수 있습니다. ChatGPT용 프롬프트 내 [대상 고객]과 상호작용하고 내 [제품/서비스]에 관한 관련 정보를 제공할 수 있는 챗봇을 만들 수 있나요? 챗봇 대화를 개인화하고 더 인간적이고 자연스럽게 느껴지게 만들기 위한 최선의 방법은 무엇인가요? 챗봇을 사용하여 고객 지원을 제공하고 문제를 신속하고 효율적으로 해결할 수 있는 방법은 무엇인가요? 내 챗봇 메트릭스를 분석하고 대화형 마케팅 전략을 개선할 수 있는 방법에 대한 권장 사항을 제공해 주세요. 챗봇을 사용하여 리드를 생성하고 전환율을 높이는 효과적인 방법은 무엇인가요? 챗봇, 소셜 미디어 메시징 및 기타 통신 채널을 통합하여 고객에게 원활한 경험을 제공하는 대화형 마케팅 전략을 만들 수 있나요? 대화형 마케팅을 사용하여 고객으로부터 피드백을 수집하고 제품/서비스를 개선할 수 있는 방법은 무엇인가요? 우리 [제품/서비스]에 대한 고객의 일반적인 질문에 답할 수 있는 챗봇 스크립트를 만들어 주세요. 고객의 선호도에 따라 개인화된 제품 추천을 제공할 수 있는 챗봇을 개발할 수 있나요? 고객 서비스 문의를 처리하고 문제를 신속하고 효율적으로 해결할 수 있는 챗봇 스크립트를 생성해 주세요. 보완 제품이나 서비스를 제안함으로써 고객에게 업셀링을 할 수 있는 챗봇을 만들 수 있나요? 구매한 고객에게 배송 정보와 추적 업데이트를 제공할 수 있는 챗봇을 개발해 주세요. [문제]를 해결하고 [숫자] 단계 이하에서 해결책을 제공하는 고객 지원 상호작용에 대한 플로차트를 만들어 주세요. [제품/서비스]와 관련된 일반적인 고객 지원 문의에 대한 일련의 준비된 응답을 개발해 주세요. [제품/서비스의 측면]에 대한 구체적인 피드백을 요청하고 후속 지원 옵션을 제공하는 고객 피드백 조사를 디자인해 주세요. 잠재 고객에게 제품 데모를 실시하고 실시간으로 질문에 답할 수 있는 챗봇을 만들 수 있나요? 우리 [제품/서비스]의 판매를 돕는 챗봇을 만들 수 있나요? 챗봇을 사용하여 고객 참여를 개선하고 판매를 증가시킬 수 있는 방법은 무엇인가요? 우리 [이상적인 고객 페르소나]에게 더 잘 봉사하기 위해 챗봇 상호작용을 어떻게 개인화할 수 있는지 제안해 주세요. 고객 서비스 문의 및 지원을 도울 수 있는 챗봇을 만들 수 있나요? 챗봇을 사용하여 고객 경험을 개인화하고 고객 만족도를 높일 수 있는 방법은 무엇인가요?
SangYeon_Lee
RAG + Graph DB를 이용하여 추천 시스템 만들기에 대한 고민
안녕하세요, 이번 글에서는 벨루가에서 최근 시작하게 된 추천 시스템 프로젝트에 대해 소개하려 합니다. 추천 시스템은 이제 우리 일상 속에 깊숙이 자리잡았습니다. 쇼핑몰에서 상품을 추천받기도 하고, 음악 스트리밍 서비스에서 새로운 아티스트를 발견하기도 하죠. 이런 추천 시스템은 크게 두 가지 상황에서 사용 될 수 있다고 보았습니다. 첫째는 사용자가 직접 추천을 요청하는 경우이고, 둘째는 사용자의 행동과 상황을 분석하여 자동으로 추천하는 경우입니다. 개인적으로는 후자에 더 관심이 있는데요, 사용자의 니즈를 예측하여 능동적으로 추천하는 시스템을 만들고 싶었습니다. 그리고 우리 벨루가에서 탬플릿화 또는 솔루션화 될 수 있게 설계를 하면 좋겠다고도 생각했습니다. 나아가 수많은 카페24, 고도몰, 네이버 스마트 스토어와 연결하여 사용할 수 있겠다는 생각도 해봅니다. 하지만 막상 프로젝트를 시작하려니 고민이 많이 됐습니다. 사용성을 이해하고 신용카드 관련 도메인 지식이 가지고 있는게 아니거든요. 이럴 때는 어떻게 해야 할까요? 저희는 데이터에서 힌트를 찾기로 했습니다. 데이터 확보가 용이한 것 부터 생각해보기로. 아니면 약간의 상상으로 데이터를 만들 수 있다면 최소한의 검증을 할 수 있다고 생각했죠. 그리고 당현히 벨루가 팀은 RAG(Retrieval-Augmented Generation)와 Graph DB를 활용하기로 했습니다. RAG는 정보 검색과 생성을 결합하여 정확한 답변을 만들어내는 강력한 도구입니다. 여기에 Graph DB를 결합하면 데이터 간의 복잡한 관계성을 더 잘 활용할 수 있죠. 물론 Graph DB를 사용하는 데는 비용과 성능 이슈가 있습니다. 그리고 GPT, Claude, Gemini, Llama 3, Cohere 등과 같은 언어 모델 API를 사용하는 것도 속도와 비용 면에서 부담이 될 수 있죠. 하지만 개인화된 추천의 가치를 생각한다면 이 정도 투자는 충분히 의미 있다고 생각했습니다. 그리고 앞으로 더욱더 개인화는 세계적인 흐름이 될 것이라 생각 하고 있습니다. 또 한 가지 고민은 Graph DB의 엔티티를 어떻게 구분할 것인가였습니다. 사람이 일일이 정의하는 것도 방법이지만, 언어 모델을 활용한 자동화도 생각해 볼 만합니다. 이를 통해 시스템의 효율성을 한층 높일 수 있을 것 같았죠. 벨루가팀은 이 프로젝트를 통해 신용카드 맛집 추천 시스템을 만들어 보려 합니다. 사용자의 위치 정보, 신용카드 정보, 맛집 정보 등을 종합하여 가장 혜택을 많이 받을 수 있는 맛집을 추천하는 거죠. 이를 통해 신용카드 사용률도 높이고, 사용자 경험도 개선할 수 있을 것이라 기대하고 있습니다. 사실 저 자신은 추천 시스템을 잘 활용하지 않는 편인데요, 그 이유는 추천이 제 취향과 잘 맞지 않기 때문이었습니다. 하지만 이번 프로젝트를 통해 진정으로 개인화된 추천 시스템을 만들어 본다면, 저 같은 사용자들의 만족도도 크게 향상시킬 수 있지 않을까요? 물론 이 여정이 순탄치만은 않을 것입니다. 주어진 시간은 3~4주 정도, 시행착오도 있을 테고, 예상치 못한 어려움도 만날 수 있죠. 하지만 그 과정에서 배우고 성장하는 것, 그것이 이 프로젝트의 가장 큰 의미라고 생각합니다. 작은 성공부터 하나씩 쌓아가다 보면, 분명 값진 결실을 맺을 수 있을 거예요. 프로젝트가 완성되는 그 날까지, 벨루가는 계속해서 도전하겠습니다. 이 블로그를 통해 그 여정을 여러분과 함께 나누고 싶네요. 앞으로의 이야기가 기대되시나요? 저도 마찬가지랍니다. 여러분도 각자의 분야에서 새로운 도전을 시작해 보시는 건 어떨까요? 언제나 여러분의 도전을 응원하겠습니다. 다음 글에서 다시 만나요, 감사합니다! 예상 되는 설계 방향 데이터(예상) 사용자 프로필 (필수): UserID (고유 식별자) 나이 성별 선호 음식 카테고리 (한식, 중식, 일식, 양식 등) 선호 가격대 (저렴한, 보통, 고급) 식사 시간대 (아침, 점심, 저녁, 야식) 알레르기 정보 (땅콩, 갑각류, 유제품 등) 사용자 프로필 (선택): 직업 결혼 여부 가족 구성원 수 소득 수준 주거 지역 사용자 위치 데이터 (필수): 실시간 GPS 좌표 위치 업데이트 시간 사용자 카드 정보 (필수): 카드 발급사 카드 종류 (신용카드, 체크카드) 카드 등급 (일반, 골드, 플래티넘 등) 카드별 혜택 (할인율, 적립률, 무이자 할부 등) 맛집 데이터 (필수): 맛집 ID (고유 식별자) 맛집 이름 맛집 위치 (GPS 좌표) 음식 카테고리 (한식, 중식, 일식, 양식 등) 가격대 (저렴한, 보통, 고급) 영업 시간 전화번호 메뉴 정보 카드 혜택 (할인율, 적립률 등) 맛집 데이터 (선택): 평점 리뷰 개수 리뷰 내용 대표 메뉴 주차 가능 여부 예약 가능 여부 웨이팅 시간 식당 사진 카드사 제휴 데이터 (필수): 제휴 맛집 ID 제휴 카드사 제휴 카드 종류 제휴 혜택 (할인율, 적립률 등) 제휴 기간 개략적인 설계 우리 개발자분이 작업 중인 그래프 DB 모습
SangYeon_Lee