본 연구는 식품 안전 및 경제적 손실 최소화를 위해 중요한 어류 신선도 평가의 정확성 및 투명성 문제를 해결하고자, 딥러닝 기반 시각적 표현을 활용하는 3단계 프레임워크를 제안한다. 5가지 최신 비전 아키텍처를 미세 조정하여 강력한 기반을 구축하고, 이로부터 추출된 다단계 심층 특징을 7가지 고전 머신러닝 분류기에 통합한다. Light Gradient Boosting Machine(LGBM), Random Forest, Lasso 기반 특징 선택 방법을 통해 특징의 간결성을 확보한다. Freshness of the Fish Eyes (FFE) 데이터셋 실험 결과, Swin-Tiny 특징, Extra Trees 분류기 및 LGBM 기반 특징 선택을 결합한 구성이 85.99%의 정확도를 달성하여 기존 연구를 능가함을 입증했다.