OnPrem$.$LLM은 민감한 비공개 데이터를 오프라인 또는 제한된 환경에서 처리하기 위한 파이썬 기반의 대규모 언어 모델(LLM) 툴킷입니다. 개인정보 보호를 중시하는 사용 사례를 위해 설계되었으며, 최소한의 설정으로 문서 처리 및 저장, 검색 증강 생성(RAG), 정보 추출, 요약, 분류 및 프롬프트/출력 처리를 위한 사전 구축된 파이프라인을 제공합니다. llama$.$cpp, Ollama, vLLM 및 Hugging Face Transformers를 포함한 여러 LLM 백엔드를 지원하며, 양자화된 모델 지원, GPU 가속 및 원활한 백엔드 전환 기능을 제공합니다. 완전한 로컬 실행을 위해 설계되었지만, 허용되는 경우 광범위한 클라우드 LLM 제공업체와의 통합도 지원하여 성능과 데이터 제어의 균형을 맞춘 하이브리드 배포를 가능하게 합니다. 비기술 사용자의 접근성을 높이기 위해 노코드 웹 인터페이스를 제공합니다.