엣지 인텔리전스 시스템의 이진 분류 문제에서, 국소적으로 배치된 소형 모델과 네트워크를 통해 접근 가능한 대형 원격 모델을 활용하는 계층적 추론(HI) 시스템을 연구합니다. 이 시스템은 국소 모델의 예측 결과에 따라 샘플을 원격 모델로 오프로딩할지 여부를 결정합니다. 본 연구는 분류 정확도와 오프로딩 비용 간의 근본적인 균형을 이해하고, 국소 모델의 신뢰도 점수에 대한 두 개의 임계값을 온라인으로 학습하여 시스템을 최적화하는 프레임워크를 제안합니다. 보정된 국소 모델에 대한 폐쇄형 솔루션을 제시하고, 비보정 모델을 위해 H2T2라는 온라인 두 임계값 계층적 추론 정책을 도입하며, 이는 서브리니어 후회를 달성합니다. H2T2는 모델에 독립적이며, 훈련이 필요 없고, 추론 단계에서 제한된 피드백을 사용하여 학습합니다.
