신
신성한 자두 나무
Category
Empty
양주시 홈페이지 검색엔진에 chatGPT같은 대답을 할수있는 엔진을 넣고 LLM 멀티모달등 원리를 이용하여 적용할수있는 방법
✅ 1. 전체 아키텍처 개요 (구성도)
[사용자 질의 입력]
↓
[질의 처리: LLM + 파인튜닝]
↓
[정보 추출: DB, 홈페이지 크롤링, PDF 등]
↓
[답변 생성: RAG 기반 응답 생성]
↓
[멀티모달 처리 (이미지/지도/표 등)]
↓
[최종 응답 출력: 웹 UI 또는 챗봇]
↓
[질의 처리: LLM + 파인튜닝]
↓
[정보 추출: DB, 홈페이지 크롤링, PDF 등]
↓
[답변 생성: RAG 기반 응답 생성]
↓
[멀티모달 처리 (이미지/지도/표 등)]
↓
[최종 응답 출력: 웹 UI 또는 챗봇]
✅ 2. 구축 시나리오
📌 Step 1: 데이터 수집 및 정제
홈페이지 텍스트, PDF 공지문, 공공데이터 등 크롤링
홈페이지 텍스트, PDF 공지문, 공공데이터 등 크롤링
이미지, 지도, 통계표 등 다양한 멀티모달 정보 포함
OCR 및 이미지 메타데이터 처리 포함
📌 Step 2: 데이터 임베딩 및 벡터화
텍스트를 LLM 임베딩 모델로 벡터화
텍스트를 LLM 임베딩 모델로 벡터화
PDF, 공문서 등은 LlamaIndex / LangChain으로 처리
이미지도 필요한 경우 BLIP로 임베딩하여 연결
📌 Step 3: 벡터 검색 시스템 구축 (RAG)
사용자 질문이 들어오면 벡터DB에서 관련 정보 검색
사용자 질문이 들어오면 벡터DB에서 관련 정보 검색
검색된 내용과 원 질문을 함께 LLM에 넣어 답변 생성
📌 Step 4: LLM 응답 생성 및 튜닝
LLM이 정책에 맞는 톤과 형식으로 응답하도록 시스템 설정
LLM이 정책에 맞는 톤과 형식으로 응답하도록 시스템 설정
지자체 스타일에 맞는 안내말투(공공기관형) 설정 가능
예: “양주시에서는 현재 주민등록등본은 민원24를 통해 발급 가능합니다.”
📌 Step 5: 멀티모달 확장
포스터, 지도, 인허가 절차 그림 등을 함께 이해하고 설명
포스터, 지도, 인허가 절차 그림 등을 함께 이해하고 설명
예: “이 절차는 다음의 행정 흐름도에 나와있습니다.” + 시각적 설명
