본 논문은 일반적인 사용자 모델(GUM)을 위한 아키텍처를 제시합니다. GUM은 사용자가 컴퓨터와 상호 작용하는 모든 비정형 관찰(예: 기기 스크린샷)을 입력으로 받아 사용자 지식과 선호도를 포착하는 신뢰도 가중 제안을 구성합니다. 예를 들어, 친구와의 메시지를 통해 사용자가 결혼식 준비를 하고 있음을 추론하거나, 여러 번의 편집 중단과 관련 자료 읽기 전환을 통해 사용자가 협업자의 피드백에 어려움을 겪고 있음을 인식합니다. GUM은 다중 모달 관찰에서 사용자에 대한 새로운 제안을 추론하고, 관련 제안을 컨텍스트로 검색하며, 기존 제안을 지속적으로 수정하는 아키텍처를 도입합니다. 채팅 기반 어시스턴트에 컨텍스트 추가, 중요 정보를 선택적으로 표시하기 위한 OS 알림 관리, 앱 간 선호도에 적응하는 대화형 에이전트 구현 등 다양한 응용 프로그램을 보여줍니다. 또한 사용자를 대신하여 유용한 제안을 발견하고 실행하는 사전 예측형 어시스턴트(GUMBO)를 구현합니다. 평가 결과, GUM은 사용자에 대한 정확한 추론을 하고, GUM 기반 어시스턴트는 사용자가 명시적으로 요청하지 않을 행동을 사전에 식별하고 수행하는 것으로 나타났습니다. 결론적으로 GUM은 다중 모달 모델을 활용하여 비정형 컨텍스트를 이해하는 방법을 도입하여 오랫동안 HCI 분야의 비전과 사용자의 필요를 예상하는 완전히 새로운 대화형 시스템을 가능하게 합니다.
