본 논문은 모바일 및 에지 장치의 제한된 자원과 사용 조건 하에서 테스트 시간 적응(TTA) 방법을 평가하기 위한 벤치마크인 BoTTA를 제안합니다. 기존 연구들이 다양한 관점에서 TTA를 연구했지만, 모바일 및 에지 장치의 특수한 제약 조건은 충분히 탐구되지 않았다는 점을 지적하며, 제한된 테스트 샘플, 제한된 카테고리 노출, 다양한 분포 변화, 샘플 내 중첩된 변화 등 네 가지 주요 과제에 초점을 맞춰 TTA 방법을 평가합니다. 실제 테스트 환경에서 시스템 수준의 메트릭을 보고하고, 지속적인 추론 시간 적응 대신 주기적인 적응을 지지하며, 실제 환경에서의 자원 제약을 고려한 TTA에 대한 실행 가능한 지침을 제공합니다. 실험 결과, 많은 최신 TTA 알고리즘이 작은 데이터셋에 어려움을 겪고, 보이지 않는 카테고리로 일반화하는 데 실패하며, 분포 변화의 다양성과 복잡성에 의존하는 것을 보여줍니다. 또한 BoTTA는 장치별 자원 사용량을 보고합니다 (예: SHOT은 512개의 적응 샘플을 사용하여 정확도를 2.25배 향상시키지만, Raspberry Pi에서 기본 모델보다 1.08배의 최대 메모리를 사용).
