본 논문은 스마트폰 및 웨어러블 센서를 통한 수동 추적 방식의 인간 행동 모니터링 연구에서, 기존의 단순 행동 인식(예: 신체 활동 인식)을 넘어, 상황 인식적인 고차원적 통찰력을 도출하는 데 어려움이 있음을 지적한다. 연구진은 전문가 21명을 대상으로 3차례의 사용자 연구를 통해 이러한 문제 해결을 위한 솔루션을 탐색하였다. 이를 위해, LLM 기반의 프로토타입 시스템인 Vital Insight (VI)를 개발하여, 다중 모드 수동 감지 데이터의 인간-컴퓨터 상호 작용을 통해 통찰력 도출 과정(sensemaking)을 지원하고 시각화하는 방법을 제시한다. VI를 통해 전문가들의 상호작용을 관찰하고, 데이터 표현과 AI 지원 추론 간의 전환 과정을 설명하는 전문가 sensemaking 모델을 개발하였다. 마지막으로, 다중 모드 건강 센싱 데이터에서 전문가의 sensemaking 과정을 더 잘 지원하는 AI 증강 시각화 시스템 설계를 위한 디자인 함의를 제시한다.
시사점, 한계점
•
시사점:
◦
LLM 기반 시스템을 활용하여 다중 모달 센싱 데이터로부터 고차원적 통찰력을 도출하는 새로운 접근 방식 제시.
◦
전문가의 sensemaking 과정에 대한 심층적인 이해와 이를 바탕으로 한 AI 증강 시각화 시스템 설계 방향 제시.
◦
Human-in-the-loop 방식을 통해 AI 시스템의 한계를 보완하고 신뢰도를 높이는 전략 제시.
◦
다양한 응용 분야(건강 관리 등)에 적용 가능한 시스템 개발의 가능성 제시.
•
한계점:
◦
현재는 프로토타입 시스템으로, 실제 환경에서의 확장성 및 일반화 가능성에 대한 추가 연구 필요.
◦
참여 전문가 수가 제한적이므로, 결과의 일반화 가능성에 대한 추가 검증 필요.
◦
특정 유형의 센싱 데이터 및 전문가 그룹에 국한된 연구 결과이므로, 다른 유형의 데이터나 전문가 그룹에 대한 추가 연구 필요.
