Vital Insight: Assisting Experts' Context-Driven Sensemaking of Multi-modal Personal Tracking Data Using Visualization and Human-In-The-Loop LLM Agents
본 논문은 스마트폰 및 웨어러블 센싱으로부터 수집된 다중 모달 패시브 센싱 데이터의 의미있는 고차원적이고 상황 인식적인 통찰력을 도출하는 과정에 초점을 맞추고 있다. 기존의 머신러닝 기반 행동 인식 연구는 원시 센서 데이터를 단순한 행동 모델로 변환하는 데 그치는 한계를 지니고 있다. 이러한 한계를 극복하기 위해, 연구진은 21명의 전문가를 대상으로 3차례의 사용자 연구를 수행하여, LLM(Large Language Model)을 활용한 새로운 프로토타입 시스템인 Vital Insight (VI)를 개발하였다. VI는 인간-컴퓨터 협력적 추론(sensemaking) 및 시각화를 지원하여 다중 모달 데이터 분석을 용이하게 한다. 본 연구는 VI를 기술 탐색 도구로 활용하여 전문가들의 상호작용을 관찰하고, 데이터 표현과 AI 지원 추론 간의 전환 과정을 설명하는 전문가 sensemaking 모델을 개발하였다. 나아가, 다중 모달 건강 센싱 데이터에서 전문가의 sensemaking 과정을 지원하는 AI 증강 시각화 시스템 설계에 대한 디자인 함의를 제시한다.
시사점, 한계점
•
시사점:
◦
LLM 기반 시스템을 활용하여 다중 모달 패시브 센싱 데이터로부터 고차원적 통찰력을 도출하는 새로운 방법 제시.
◦
인간-컴퓨터 협력적 sensemaking 모델 개발을 통해 전문가의 데이터 분석 과정에 대한 이해 증진.
◦
AI 증강 시각화 시스템 설계를 위한 디자인 함의 제시.
◦
전문가의 sensemaking 과정을 효율화하고, 시간 및 노력을 절약할 수 있는 잠재력 확인.
•
한계점:
◦
현재는 프로토타입 시스템으로, 실제 응용을 위한 추가적인 개발 및 검증 필요.
◦
참여 전문가 수가 제한적(21명)이어서 일반화 가능성에 대한 추가 연구 필요.
◦
특정 유형의 데이터와 응용 분야에 초점을 맞추었으므로, 다른 유형의 데이터나 응용 분야로의 일반화 가능성 검토 필요.
◦
LLM의 성능 및 신뢰도에 대한 의존성이 높아, LLM의 한계가 시스템 성능에 영향을 미칠 수 있음.
