AgriKD: Cross-Architecture Knowledge Distillation for Efficient Leaf Disease Classification

Created by

Haebom

저자

Minh-Dung Le, Minh-Duc Hoang, Hoang-Vu Truong, Thi-Thu-Hong Phan

💡 개요

본 논문은 자원이 제한된 환경에서의 효율적인 잎 질병 분류를 위해 Vision Transformer(ViT) 교사 모델의 지식을 경량 CNN 학생 모델로 효과적으로 전달하는 AgriKD라는 크로스 아키텍처 지식 증류 프레임워크를 제안합니다. ViT와 CNN 간의 표현적 차이를 해소하기 위해 출력, 특징, 관계 수준에서 다중 지식 증류 목표를 통합하여 학생 모델이 전역 표현을 더 잘 보존하고 활용하도록 합니다. 실험 결과, AgriKD로 증류된 학생 모델은 교사 모델과 유사한 성능을 달성하면서도 모델 크기, 연산 비용, 추론 지연 시간을 획기적으로 줄여 엣지 디바이스 배포에 적합함을 입증합니다.

🔑 시사점 및 한계

•

크로스 아키텍처 지식 증류의 효율성: 서로 다른 아키텍처(ViT와 CNN) 간에 성공적으로 지식을 이전하여 복잡한 ViT 모델의 성능을 유지하면서도 경량화된 CNN 모델의 효율성을 크게 향상시킬 수 있습니다.

•

엣지 디바이스에서의 실제 적용 가능성: ONNX, TFLite, TensorRT 등 다양한 런타임 형식으로 최적화된 모델을 NVIDIA Jetson과 같은 엣지 디바이스 및 모바일 애플리케이션에 성공적으로 배포함으로써, 자원 제약적인 농업 환경에서 실시간 AI 기반 솔루션의 실용성을 입증했습니다.

•

다양한 데이터셋에서의 검증: 여러 잎 질병 데이터셋에 대한 실험을 통해 제안된 방법론의 일반화 가능성과 강건함을 보여주었습니다.

•

향후 과제: 제안된 지식 증류 방법론이 모든 종류의 질병 또는 식물 종류에 대해 최적의 성능을 보장하는지에 대한 추가적인 연구가 필요할 수 있으며, 모델의 복잡성 및 데이터셋의 다양성에 따른 추가적인 최적화 방안도 탐색될 수 있습니다.

PDF 보기

Made with Slashpage