Loud AI Appliance

⛓️ On-Demand Generative AI solution

On-Premise + LoudAI 자체 개발 LLM Solution 탑재

LoudAI Appliance 도입 문의

Appliance 이용 방법

Appliance 핵심 기능

하드웨어 상세

PowerEdge
R760XA - A40

CPU	Intel Xeon 실버 4416 + 2G, 20C/40T, 16GT/s, 38M캐시, Turbo, HT(165W), DDR5-4000 X 2
RAM	RDIMM, 4800MT/s(64GB*4ea)
시스템SSD	3.84TB SSD SATA Read Intensive 6Gbps 512 2.5인치 핫플러그 AG 드라이브, 1DWPD
GPU	NVIDIA Ampere A40 PCle, 300W, 48GB패시브*2ea
파워공급장치	2800W MM HLAC (Only for 200-240Vac) Titanium, C22 커넥터
지원서비스	ProSupport with 4hours Onsite Service(36개월)

PowerEdge
R760XA - L40S

CPU	Intel Xeon 실버 4509Y 2.6G, 8C/16T, 16GT/s, 23M캐시, Turbo, HT(125W), DDR5-4400 X 2
RAM	RDIMM, 5600MT/s, 듀얼랭크(64GB*8ea)
시스템SSD	3.84TB SSD SATA Read Intensive 6Gbps 512 2.5인치 핫플러그 AG 드라이브, 1DWPD
GPU	NVIDIA L40S, PCle, 350W, 48GB패시브*4ea
파워공급장치	듀얼, 핫플러그, Fault Tolerant 중복(1+1), 2400W, Mixed Mode
지원서비스	ProSupport with 4hours Onsite Service(36개월)

하드웨어 더 자세히 보기

FAQs

LoudAI Appliance 자주 묻는 질문

LoudAI Appliance는 어떻게 사용하나요?

LoudAI Appliance를 구매하게 되면, 별도의 설치 과정 없이 바로 사용할 수 있습니다.

LoudAI Appliance에는 어떤 AI 솔루션이 포함되어 있나요?

LoudAI에서 제공하는 kubChain, LoudAI Chatbot, LoudOps, LoudSQL 솔루션 중 필요한 솔루션을 선택할 수 있으며 Appliance 형식으로 구매하는 경우 솔루션 소프트웨어 뿐만 아니라 맞춤형 하드웨어와 솔루션 사용을 위한 환경을 설정하는 미들웨어까지 포함되어 있습니다.

선택한 솔루션은 1:1 컨설팅 과정에서 기업에서 필요한 기능들을 커스마이징해 추가할 수 있습니다.

LoudAI Appliance에서 원활한 운영 위해 필요한 하드웨어 사양은 어떻게 되나요?

선택하신 솔루션과 사용하는 데이터종류, 데이터양, 사용하는모델 등에 따라 필요로하는 하드웨어 사양이 많이 달라집니다.

아래의 사양은 이해를 돕기위한 예시입니다.

솔루션: LoudAI Chatbot 기본기능 Inference

데이터타입: FP16

기준: 70B 모델 사용시 x1

Inference		A40			L40S
Model	2B	7B	70B	2B	7B	70B
처리속도	x3	x2	-	x5	x4	x1
동시사용	80명	30명	-	400명	150명	45명

Fine Tunning		A40			L40S
Model	2B	7B	70B	2B	7B	70B
처리속도	x3	x2	-	x5	x4	x1
메모리사용량	4GB	14GB	-	4GB	14GB	160GB

LoudAI Appliance를 사용하기 위해서는 개발 지식이 필요한가요?

LoudAI Appliance는 하드웨어, 미들웨어, 소프트웨어를 모두 구축하여 전달하기 때문에 별도의 개발지식이 필요 없습니다.

선택한 솔루션을 사용할 때에도 편리한 UI/UX와 한국어로 제공되어 누구나 사용 가능합니다.

대화 내역, 업로드한 문서 등에 대한 보안은 어떻게 되나요?

LoudAI Appliance는 대화내역 및 모델은 구입하신 하드웨어에 저장되기 때문에 사내인원 이외에는 접근할 수 없습니다.

사내 DB와 연결하는 LoudSQL 솔루션을 선택하신 경우에도, 모델은 클라우드가 아닌 로컬모델로 고객사 서버에 구축해드리기 때문에 데이터 유출 걱정 없이 사용하실 수 있습니다.

70B 모델은 L40S에 탑재가 가능한가요?

탑재는 가능하지만, 효율적이지는 않습니다.

문제해결을 위한 필요한 기능만 사용하기 때문에 7B~8B 모델을 커스마이징하여 사용하는 것을 추천합니다. 답변 속도와 동시 접속의 자유도가 높아지며 동시 접속 사용자 역시 늘릴 수 있으며, 리소스(시스템 자원)를 아낄 수 있습니다.

LoudAI Appliance 도입문의

Made with SlashPage