본 논문은 자연스러움, 얼굴 및 몸 표현의 제한, 사용자 제어 부재 등 기존의 엔드투엔드 수화 애니메이션 시스템의 한계를 극복하기 위해 인간 중심의 실시간 음성-수화 애니메이션 프레임워크를 제안한다. 이 프레임워크는 (1) 동기화된 상체 및 얼굴 움직임 생성을 위한 스트리밍 Conformer 인코더와 자기회귀 Transformer-MDN 디코더, (2) 청각장애 사용자와 전문가가 각 수화 부분을 검사하고 수정할 수 있는 투명하고 편집 가능한 JSON 중간 표현, (3) 사용자 편집 및 평가에 기반하여 모델을 개선하는 Human-in-the-loop 최적화 루프로 구성된다. Unity3D에 배포된 이 시스템은 RTX 4070에서 평균 13ms의 프레임 추론 시간과 103ms의 엔드투엔드 지연 시간을 달성한다. 핵심 기여는 세분화된 수화 수준의 개인화를 위한 JSON 중심 편집 메커니즘의 설계와 지속적인 모델 적응을 위한 MDN 기반 피드백 루프의 최초 적용이다. 20명의 청각장애 수화자와 5명의 전문 통역사를 대상으로 한 연구에서 기준선 대비 SUS 점수 13점 향상, 인지 부하 6.7점 감소, 자연스러움과 신뢰도의 상당한 향상(p<.001)을 관찰했다. 이 연구는 접근 가능한 수화 기술을 위한 확장 가능하고 설명 가능한 AI 패러다임을 확립한다.
