본 논문은 이벤트에 의해 트리거되는 AI 프로그램의 파이프라인 또는 그래프로 구성되는 AI 추론 워크플로우의 지연 시간 감소에 초점을 맞추고 있습니다. 기존의 스트리밍 설정에서 지연 시간을 줄이는 캐싱이나 최적화 기반 스케줄링과 같은 표준 기법들은 AI 데이터 접근 패턴(모델, 데이터베이스)이 트리거링 이벤트에 따라 변하기 때문에 효과가 제한적입니다. 이 논문에서는 개발자가 애플리케이션 특정 데이터 접근 상관관계를 더 쉽게 표현할 수 있도록 하는 새로운 친화성 그룹화 메커니즘을 제안하여 스트리밍 추론 작업을 호스팅하는 서버 클러스터에서 데이터 객체를 조정된 방식으로 관리할 수 있도록 합니다. 이는 캐싱 및 스케줄링과 같은 다른 접근 방식을 보완하는 역할을 합니다. 실험 결과는 표준 기법의 한계를 확인하고, 제안된 메커니즘이 작업량과 확장성이 증가함에 따라 지연 시간을 훨씬 낮게 유지하면서도 코드 변경은 최소화할 수 있음을 보여줍니다.
