SUMART는 장황한 자막 번역의 양을 요약하고 압축하는 방법을 제안합니다. 외국어 오디오와 번역된 자막으로 영화를 시청하거나 자막 번역을 통한 언어 간 대화와 같이 번역된 자막을 이해하기 위해 고안되었습니다. 외국어의 대화, 오디오, 비디오 콘텐츠 및 음성에 대한 전반적인 이해와 빠른 이해를 원하는 사용자를 위해 설계되었습니다. 훈련 데이터 수집 중에 화자가 장황한 진술을 할 때, SUMART는 현장에서 대규모 언어 모델을 사용하여 자막의 양을 압축합니다. 이 압축된 데이터는 미세 조정 목적으로 데이터베이스에 저장됩니다. 이후 SUMART는 압축되지 않은 ASR 결과와 압축된 번역 결과의 데이터 쌍을 사용하여 번역 모델을 미세 조정하여 실용적인 용도로 더 간결한 번역을 생성합니다. 실제 응용 프로그램에서 SUMART는 이 훈련된 모델을 사용하여 간결한 번역 결과를 생성합니다. 또한 실용적인 응용 프로그램으로 증강 현실 공간에서 자막 번역을 사용한 대화를 가능하게 하는 애플리케이션을 개발했습니다. 파일럿 연구로 SUMART 프로토타입을 사용한 질적 설문 조사와 SUMART의 요약 모델에 대한 설문 조사를 실시했습니다. 본 시스템의 가장 효과적인 사용 사례는 사용자가 많은 정보를 빠르게 소비해야 하는 경우(예: 연설, 강의, 팟캐스트, 회의의 질의응답)라고 예상합니다.
