OnPrem.LLM은 민감한 비공개 데이터에 대해 오프라인 또는 제한된 환경에서 대규모 언어 모델(LLM)을 적용하기 위한 Python 기반 툴킷입니다. 개인 정보 보호를 중시하는 사용 사례를 위해 설계되었으며, 최소한의 구성으로 문서 처리 및 저장, 검색 증강 생성(RAG), 정보 추출, 요약, 분류 및 프롬프트/출력 처리를 위한 사전 구축된 파이프라인을 제공합니다. llama.cpp, Ollama, vLLM 및 Hugging Face Transformers를 포함한 여러 LLM 백엔드를 지원하며, 양자화된 모델 지원, GPU 가속 및 원활한 백엔드 전환 기능을 제공합니다. 완전한 로컬 실행을 위해 설계되었지만, 허용되는 경우 다양한 클라우드 LLM 제공업체와의 통합을 지원하여 성능과 데이터 제어의 균형을 맞춘 하이브리드 배포를 가능하게 합니다. 비기술 사용자의 접근성을 확장하는 노코드 웹 인터페이스도 제공합니다.
