SensorChat: Answering Qualitative and Quantitative Questions during Long-Term Multimodal Sensor Interactions
Created by
Haebom
저자
Xiaofan Yu, Lanxiang Hu, Benjamin Reichman, Dylan Chu, Rushil Chandrupatla, Xiyuan Zhang, Larry Heck, Tajana Rosing
개요
SensorChat은 장기간, 고빈도 시계열 데이터를 사용하는 일상 생활 모니터링을 위한 최초의 엔드-투-엔드 질의응답(QA) 시스템입니다. 사용자의 자연어 질문을 받아 여러 날에 걸친 원시 센서 신호를 분석하고, 수치적 정확성이 필요한 양적 질문과 주관적 통찰력을 추론하는 고차원 추론이 필요한 질적 질문 모두에 대해 의미있는 답변을 생성합니다. 세 단계 파이프라인(질문 분해, 센서 데이터 쿼리, 답변 조립)을 사용하며, 첫 번째와 세 번째 단계는 대규모 언어 모델(LLM)을 활용합니다. 클라우드 서버에서 실시간 상호 작용이 가능하며, 양자화 후에는 에지 플랫폼에서도 작동할 수 있습니다.
시사점, 한계점
•
시사점:
◦
장기간, 고빈도 센서 데이터를 사용한 자연어 기반 질의응답 시스템을 최초로 제시.
◦
양적 질문과 질적 질문 모두에 효과적으로 대응.
◦
클라우드 및 에지 환경 모두에서 작동 가능.
◦
기존 시스템 대비 양적 질문 정확도 93% 향상.
◦
사용자 연구를 통해 질적 질문에 대한 효과성 검증.
•
한계점:
◦
사용자 연구 참여자가 8명으로 제한적임.
◦
현재 시스템의 확장성 및 다양한 센서 데이터 유형에 대한 적용성에 대한 추가적인 연구가 필요할 수 있음.
