Share
Sign In
kubwa Appliance
⛓️ On-Demand Generative AI solution
On-Premise + kubwa 자체 개발 LLM solution 탑재
필요 AI 기술 탑재한 Appliance 핵심 기능
제공 기능: 챗봇, 사내 DB 연결, 외부 지식 검색, 파인 튜닝 등
AI Appliance Use Case
다양한 분야에서 활용 가능합니다
하드웨어 상세
❉ PowerEdge R760XA - A40
❉ PowerEdge R760XA - L40S
생성 AI Appliance 동작 원리
사용자가 kubwa Appliance에서 프롬프트 입력하고 답변을 받기까지의 전과정을 "LLMOps"로 관리
LLMOps의 개발 & 배포 전과정을 손쉽게 관리하고, 산업군별 데이터 맞춤형 fine-tuning 가능
각 단계별 Docker 컨테이너 활용해 versioning 용이
LLM Optimization(최적화), Acceleration(가속화)로 환경에 최적화된 운영과 빠른 응답 속도 기대 가능
LLMOps 운영 원리 더 자세히 보기
지식 검색(Knowledge Retrieval)로 필요한 정보 수집하고, 이를 바탕으로 사용자 질문에 대한 답변 생성해 배포까지 총 3단계로 구성
1.
모델 레지스트리(Model Registry)
모델 저장소 역할로 특정 태스크에 맞게 튜닝된 모델(Fine-Tuned Model) 보유
2.
모델 평가(Model Evaluation)
평가 과정 거쳐 모델의 성능 검증
Kubernetes, Docker, CI/CD로 모델 효율적으로 운영 & 관리
3.
모델 배포(Model Deployment)
사용자 입력(User Prompt) 받아 처리하고, 적절한 답변 생성
DB와 Vector Store에서 정보 추출하거나 검색하는데 필요한 데이터 활용
Vector Store는 임베딩된 결과를 저장하는 곳으로, 효율적인 검색과 데이터 매칭 가능
FAQs
kubwa Appliace 자주 묻는 질문
kubwa Appliace는 어떻게 사용하나요?
쿱와 어플라이언스를 구매하게 되면, 별도의 설치 과정 없이 바로 사용할 수 있습니다.
kubwa Appliace에는 어떤 AI 솔루션이 포함되어 있나요?
쿱와 어플라이언스에는 LLMOps를 기반으로, RAG 기술을 적용해 문서 Q&A, 번역, 요약 등 다양한 NLP 기반의 작업이 가능합니다. 또한, 사내에 구축된 sql DB에 LLM을 연결한 sqlLLM 기능이 구현되어 있습니다. 업로드 가능한 파일 형식으로는(PDF, word, CSV) 등이 있습니다.
솔루션의 경우, 기업에서 필요한 기능들을 1:1 컨설팅 과정에서 커스마이징해 추가할 수 있습니다.
kubwa Appliace에서 원활한 운영 위해 필요한 하드웨어 사양은 어떻게 되나요?
아래의 내용은 예시입니다.
L40S, 48GB x 4ea, Linux OS기준 - winodw 및 mac OS 용 애플리케이션은 따로 개발하지 않음
로컬 모델중 비교적 최신 모델인 Llama3-8B 사용 가능
python 버전 3.10 이상 추천
도커 최신 버전 사용 가능
kubwa Appliace를 사용하기 위해서는 개발 지식이 필요한가요?
아닙니다. 비개발자도 충분히 쿱와 어플라이언스를 통해 생성형 AI 체험이 가능합니다.
편리한 UI/UX로 제공되어 궁금한 내용을 채팅창에 입력하면 답변이 생성되는 방식이며, 한국어 특화 모델도 포함되어 있어, 한국어로도 진행이 가능합니다.
대화 내역, 업로드한 문서 등에 대한 보안은 어떻게 되나요?
진행된 대화 내역과 업로드한 문서는 일절 저장되지 않습니다.
kubwa Appliace 답변 속도, 동시 접속 인원 수는 어떻게 되나요?
GPU L40S 48GB * 4ea 기준, 평균 답변 속도는 1~2초 내외입니다. 동시 접속은 최대 55명입니다.
70B 모델은 L40S에 탑재가 가능한가요?
탑재는 가능하지만, 효율적이지는 않습니다. 따라서, 7B~8B 모델을 추천드립니다.
7B~8B 모델로 커스마이징해서 사용해면 오히려 답변 속도와 동시 접속의 자유도가 높아지며 동시 접속 사용자 역시 늘릴 수 있으며, 리소스(시스템 자원)를 아낄 수 있습니다.