Share
Sign In
Loud AI Appliance
⛓️ On-Demand Generative AI solution
On-Premise + LoudAI 자체 개발 LLM Solution 탑재
Appliance 이용 방법
Appliance 핵심 기능
하드웨어 상세
PowerEdge
R760XA - A40
CPU | Intel Xeon 실버 4416 + 2G, 20C/40T, 16GT/s, 38M캐시, Turbo, HT(165W), DDR5-4000 X 2 |
RAM | RDIMM, 4800MT/s(64GB*4ea) |
시스템SSD | 3.84TB SSD SATA Read Intensive 6Gbps 512 2.5인치 핫플러그 AG 드라이브, 1DWPD |
GPU | NVIDIA Ampere A40 PCle, 300W, 48GB패시브*2ea |
파워공급장치 | 2800W MM HLAC (Only for 200-240Vac) Titanium, C22 커넥터 |
지원서비스 | ProSupport with 4hours Onsite Service(36개월) |
PowerEdge
R760XA - L40S
CPU | Intel Xeon 실버 4509Y 2.6G, 8C/16T, 16GT/s, 23M캐시, Turbo, HT(125W), DDR5-4400 X 2 |
RAM | RDIMM, 5600MT/s, 듀얼랭크(64GB*8ea) |
시스템SSD | 3.84TB SSD SATA Read Intensive 6Gbps 512 2.5인치 핫플러그 AG 드라이브, 1DWPD |
GPU | NVIDIA L40S, PCle, 350W, 48GB패시브*4ea |
파워공급장치 | 듀얼, 핫플러그, Fault Tolerant 중복(1+1), 2400W, Mixed Mode |
지원서비스 | ProSupport with 4hours Onsite Service(36개월) |
FAQs
LoudAI Appliance 자주 묻는 질문
LoudAI Appliance는 어떻게 사용하나요?
LoudAI Appliance를 구매하게 되면, 별도의 설치 과정 없이 바로 사용할 수 있습니다.
LoudAI Appliance에는 어떤 AI 솔루션이 포함되어 있나요?
LoudAI에서 제공하는 kubChain, LoudAI Chatbot, LoudOps, LoudSQL 솔루션 중 필요한 솔루션을 선택할 수 있으며 Appliance 형식으로 구매하는 경우 솔루션 소프트웨어 뿐만 아니라 맞춤형 하드웨어와 솔루션 사용을 위한 환경을 설정하는 미들웨어까지 포함되어 있습니다.
선택한 솔루션은 1:1 컨설팅 과정에서 기업에서 필요한 기능들을 커스마이징해 추가할 수 있습니다.
LoudAI Appliance에서 원활한 운영 위해 필요한 하드웨어 사양은 어떻게 되나요?
선택하신 솔루션과 사용하는 데이터종류, 데이터양, 사용하는모델 등에 따라 필요로하는 하드웨어 사양이 많이 달라집니다.
아래의 사양은 이해를 돕기위한 예시입니다.
솔루션: LoudAI Chatbot 기본기능 Inference
데이터타입: FP16
기준: 70B 모델 사용시 x1
Inference | A40 | L40S | ||||
Model | 2B | 7B | 70B | 2B | 7B | 70B |
처리속도 | x3 | x2 | - | x5 | x4 | x1 |
동시사용 | 80명 | 30명 | - | 400명 | 150명 | 45명 |
Fine Tunning | A40 | L40S | ||||
Model | 2B | 7B | 70B | 2B | 7B | 70B |
처리속도 | x3 | x2 | - | x5 | x4 | x1 |
메모리사용량 | 4GB | 14GB | - | 4GB | 14GB | 160GB |
LoudAI Appliance를 사용하기 위해서는 개발 지식이 필요한가요?
LoudAI Appliance는 하드웨어, 미들웨어, 소프트웨어를 모두 구축하여 전달하기 때문에 별도의 개발지식이 필요 없습니다.
선택한 솔루션을 사용할 때에도 편리한 UI/UX와 한국어로 제공되어 누구나 사용 가능합니다.
대화 내역, 업로드한 문서 등에 대한 보안은 어떻게 되나요?
LoudAI Appliance는 대화내역 및 모델은 구입하신 하드웨어에 저장되기 때문에 사내인원 이외에는 접근할 수 없습니다.
사내 DB와 연결하는 LoudSQL 솔루션을 선택하신 경우에도, 모델은 클라우드가 아닌 로컬모델로 고객사 서버에 구축해드리기 때문에 데이터 유출 걱정 없이 사용하실 수 있습니다.
70B 모델은 L40S에 탑재가 가능한가요?
탑재는 가능하지만, 효율적이지는 않습니다.
문제해결을 위한 필요한 기능만 사용하기 때문에 7B~8B 모델을 커스마이징하여 사용하는 것을 추천합니다. 답변 속도와 동시 접속의 자유도가 높아지며 동시 접속 사용자 역시 늘릴 수 있으며, 리소스(시스템 자원)를 아낄 수 있습니다.