Optimium

에지부터 서버까지,

최적의 모델 배포를 위한 단 하나의 추론 엔진.

Problems we solve.

📉

애매한 추론 성능

배포를 위해 사용한 추론 엔진의 추론 속도가 불만족스러운가요?

⛔️

부족한 유연성

한 모델을 배포할 때, 플랫폼마다매번 다른 툴을 사용하나요?

🤯

답답한 사용성

사용한 연산이 지원되지 않아서모델을 다시 학습해야 하나요?

Life is too short, you need Optimium.

📈

손쉽게 모델의 추론 성능을 극대화하세요.

추론 최적화만을 위해 개발된 언어 'Nadya'의 Metaprogramming을 통해 간편한 성능 개선 지원

📍 Memory, Cache 성능 개선

📍 SIMD 연산을 통한 연산 최적화

📍 Operator Fusion을 통해 Latency 단축

Inference speed comparison on Mediapipe Face Landmarks model

Single thread, Float16 on Cortex-A77

Single thread, Float32 on AMD64

👏🏻

한 번의 구현으로, 모든 경우에 대해 최적화하세요.

Optimium 하나로 Arm, AMD64 등 특정 아키텍쳐 전용 라이브러리 대비 우수한 추론 성능 입증

📍 모델 그래프 분석 및 타겟 최적화 자동 수행

📍 다양한 3rd Party SDK와 통합 지원

📍 Nadya를 통해 손쉬운 Layer 추가 가능

가장 편리한 툴로, 가장 좋은 성능의 모델을 배포하세요.

Optimium를 통한 추론 속도는 매일매일 더 빨라지고 있습니다 🚀

하반기 예정인 클로즈 베타에 참여하고 싶다면?