NANOMIND는 LMM (Large Multimodal Models)을 위한 하드웨어-소프트웨어 공동 설계 추론 프레임워크입니다. 이 프레임워크는 LMM을 모듈형 '브릭'으로 나누어 각 브릭을 가장 적합한 가속기에 할당합니다. 이를 통해 맞춤형 하드웨어 설계, 시스템 수준 스케줄링, 최적화된 저비트 연산 커널을 결합하여, 네트워크 연결 없이 LMM을 완전히 온디바이스에서 실행할 수 있는 소형 배터리 구동 장치를 개발했습니다. NANOMIND는 기존 구현보다 자원 효율성이 뛰어나, 에너지 소비를 42.3% 줄이고 GPU 메모리 사용량을 11.2% 감소시켰습니다.
시사점, 한계점
•
시사점:
◦
LMM을 모듈형으로 분해하여 이기종 가속기를 효율적으로 활용하는 혁신적인 접근 방식 제시
◦
온디바이스 LMM 실행을 통해 네트워크 연결 없이 지능형 어시스턴트 구현 가능성 제시
◦
에너지 효율성 및 메모리 사용량 개선을 통해 배터리 구동 장치에서의 LMM 실행 시간 연장
