본 논문은 사물 인터넷(IoT)의 확산과 실시간 데이터 처리의 필요성에 따라 에지 및 단말 장치에 AI 모델이 점점 더 많이 배포됨에 따라, 장치 상 AI 모델의 현재 상태, 기술적 과제 및 미래 동향을 종합적으로 탐구한다. 장치 상 AI 모델을 실시간 성능, 자원 제약 및 향상된 데이터 프라이버시와 같은 특징을 강조하여 로컬 데이터 처리 및 추론을 수행하도록 설계된 모델로 정의하고, AI 모델의 기본 개념, 다양한 도메인의 응용 시나리오, 에지 환경에서 직면하는 기술적 과제를 중심으로 논의를 구성한다. 또한 효과적인 배포에 필수적인 데이터 전처리, 모델 압축 및 하드웨어 가속과 같은 최적화 및 구현 전략을 논의하며, 에지 컴퓨팅 및 기반 모델을 포함한 신흥 기술의 영향도 조사한다. 궁극적으로 일상생활에서 지능 시스템의 발전에 기여하기 위해, 과제, 솔루션 및 미래 방향에 대한 구조적인 개요를 제공하여 장치 상 AI의 추가 연구 및 응용을 촉진하고자 한다.