# Loud AI Appliance # ⛓️ On-Demand Generative AI solution On-Premise + LoudAI 자체 개발 LLM Solution 탑재 [LoudAI Appliance 도입 문의]() ![Image](https://upload.cafenono.com/image/slashpageHome/20240801/171802_FZ6nkyIUjLCGSjOe25?q=80&s=1280x180&t=outside&f=webp) --- # Appliance 이용 방법 ![Image](https://upload.cafenono.com/image/slashpageHome/20240809/102648_HCIWKq4a62gsHsqhpL?q=80&s=1280x180&t=outside&f=webp) ![Image](https://upload.cafenono.com/image/slashpageHome/20240801/184557_sodZuvUiGtICIkhNoW?q=80&s=1280x180&t=outside&f=webp) --- # Appliance 핵심 기능 ![Image](https://upload.cafenono.com/image/slashpageHome/20240802/095743_U9MdMqxKrCKqEEy7vT?q=80&s=1280x180&t=outside&f=webp) ![Image](https://upload.cafenono.com/image/slashpageHome/20240802/100519_h835Tble8iVE1xtZh4?q=80&s=1280x180&t=outside&f=webp) --- # 하드웨어 상세 ![Image](https://upload.cafenono.com/image/slashpageHome/20240603/105414_dT5vPEBVNodFUmO3ji?q=75&s=1280x180&t=outside&f=webp) ## PowerEdge R760XA - A40 | CPU | Intel Xeon 실버 4416 + 2G, 20C/40T, 16GT/s, 38M캐시, Turbo, HT(165W), DDR5-4000 X 2 | | --- | --- | | RAM | RDIMM, 4800MT/s(64GB*4ea) | | 시스템SSD | 3.84TB SSD SATA Read Intensive 6Gbps 512 2.5인치 핫플러그 AG 드라이브, 1DWPD | | GPU | NVIDIA Ampere A40 PCle, 300W, 48GB패시브*2ea | | 파워공급장치 | 2800W MM HLAC (Only for 200-240Vac) Titanium, C22 커넥터 | | 지원서비스 | ProSupport with 4hours Onsite Service(36개월) | ![Image](https://upload.cafenono.com/image/slashpageHome/20240603/105447_x1mhwVHpMmeN29xfjW?q=75&s=1280x180&t=outside&f=webp) ## PowerEdge R760XA - L40S | **CPU** | Intel Xeon 실버 4509Y 2.6G, 8C/16T, 16GT/s, 23M캐시, Turbo, HT(125W), DDR5-4400 X 2 | | --- | --- | | **RAM** | RDIMM, 5600MT/s, 듀얼랭크(64GB*8ea) | | **시스템SSD** | 3.84TB SSD SATA Read Intensive 6Gbps 512 2.5인치 핫플러그 AG 드라이브, 1DWPD | | **GPU** | NVIDIA L40S, PCle, 350W, 48GB패시브*4ea | | **파워공급장치** | 듀얼, 핫플러그, Fault Tolerant 중복(1+1), 2400W, Mixed Mode | | **지원서비스** | ProSupport with 4hours Onsite Service(36개월) | [하드웨어 더 자세히 보기](https://www.dell.com/ko-kr/shop/dell-poweredge-%25EC%2584%259C%25EB%25B2%2584/poweredge-r760xa/spd/poweredge-r760xa/asper760xa#features_section) --- # FAQs LoudAI Appliance 자주 묻는 질문 ## LoudAI Appliance는 어떻게 사용하나요? LoudAI Appliance를 구매하게 되면, 별도의 설치 과정 없이 바로 사용할 수 있습니다. ## LoudAI Appliance에는 어떤 AI 솔루션이 포함되어 있나요? LoudAI에서 제공하는 kubChain, LoudAI Chatbot, LoudOps, LoudSQL 솔루션 중 필요한 솔루션을 선택할 수 있으며 Appliance 형식으로 구매하는 경우 솔루션 소프트웨어 뿐만 아니라 맞춤형 **하드웨어**와 솔루션 사용을 위한 환경을 설정하는 **미들웨어**까지 포함되어 있습니다. 선택한 솔루션은 1:1 컨설팅 과정에서 기업에서 필요한 기능들을 **커스마이징**해 추가할 수 있습니다. ## LoudAI Appliance에서 원활한 운영 위해 필요한 하드웨어 사양은 어떻게 되나요? 선택하신 솔루션과 사용하는 데이터종류, 데이터양, 사용하는모델 등에 따라 필요로하는 하드웨어 사양이 많이 달라집니다. 아래의 사양은 이해를 돕기위한 예시입니다. - 솔루션: LoudAI Chatbot 기본기능** Inference** - 데이터타입: FP16 - 기준: 70B 모델 사용시 x1 | **Inference** | | A40 | | | L40S | | | --- | --- | --- | --- | --- | --- | --- | | Model | 2B | 7B | 70B | 2B | 7B | 70B | | 처리속도 | x3 | x2 | - | x5 | x4 | x1 | | 동시사용 | 80명 | 30명 | - | 400명 | 150명 | 45명 | | **Fine Tunning** | | A40 | | | L40S | | | --- | --- | --- | --- | --- | --- | --- | | Model | 2B | 7B | 70B | 2B | 7B | 70B | | 처리속도 | x3 | x2 | - | x5 | x4 | x1 | | 메모리사용량 | 4GB | 14GB | - | 4GB | 14GB | 160GB | ## LoudAI Appliance를 사용하기 위해서는 개발 지식이 필요한가요? LoudAI Appliance는 하드웨어, 미들웨어, 소프트웨어를 모두 구축하여 전달하기 때문에 별도의 개발지식이 필요 없습니다. 선택한 솔루션을 사용할 때에도 편리한 UI/UX와 한국어로 제공되어 누구나 사용 가능합니다. ## 대화 내역, 업로드한 문서 등에 대한 보안은 어떻게 되나요? LoudAI Appliance는 대화내역 및 모델은 구입하신 하드웨어에 저장되기 때문에 사내인원 이외에는 접근할 수 없습니다. 사내 DB와 연결하는 LoudSQL 솔루션을 선택하신 경우에도, 모델은 클라우드가 아닌 로컬모델로 고객사 서버에 구축해드리기 때문에 데이터 유출 걱정 없이 사용하실 수 있습니다. ## 70B 모델은 L40S에 탑재가 가능한가요? 탑재는 가능하지만, 효율적이지는 않습니다. 문제해결을 위한 필요한 기능만 사용하기 때문에 7B~8B 모델을 커스마이징하여 사용하는 것을 추천합니다. 답변 속도와 동시 접속의 자유도가 높아지며 동시 접속 사용자 역시 늘릴 수 있으며, 리소스(시스템 자원)를 아낄 수 있습니다. [홈으로](https://slashpage.com/loudai/ndvwx728n1kx723z6jpg) For the site tree, see the [root Markdown](https://slashpage.com/loudai.md).