본 논문은 자동화된 챗봇을 활용한 심리 치료에서 공감적이고 일관된 응답을 생성하는 것을 목표로, 대규모 언어 모델(LLM)의 감정 및 문맥 이해력 향상에 초점을 맞추고 있다. Emotion-Aware Embedding Fusion이라는 새로운 프레임워크를 제시하는데, 이는 계층적 융합 및 어텐션 메커니즘을 통합하여 치료 기록에서 의미 및 감정적 특징의 우선순위를 정하는 방식이다. NRC Emotion Lexicon, VADER, WordNet, SentiWordNet 등 여러 감정 사전과 Flan-T5, LLAMA 2, DeepSeek-R1, ChatGPT 4와 같은 최첨단 LLM을 결합하여 2,000개 이상의 치료 세션 기록을 단어, 문장, 세션 수준으로 계층적으로 분할하고, 풀링 기법을 사용하여 감정 표현을 개선한다. 다중 헤드 자기 어텐션 및 교차 어텐션과 같은 어텐션 메커니즘을 통해 감정적 및 문맥적 특징의 우선순위를 정하고 세션 간 감정 변화의 시간적 모델링을 가능하게 한다. BERT, GPT-3, RoBERTa를 사용하여 계산된 처리된 임베딩은 Facebook AI 유사성 검색 벡터 데이터베이스에 저장되어 고밀도 벡터 공간에서 효율적인 유사성 검색 및 클러스터링을 가능하게 한다. 사용자 질의 시, 관련 세그먼트를 검색하여 LLM에 문맥으로 제공하여 공감적이고 문맥적으로 관련된 응답을 생성하는 능력을 향상시킨다. AI 기반 치료 챗봇을 포함한 여러 실제 사용 사례를 통해 제안된 프레임워크를 평가하여 실제 적용 가능성을 보여준다. 이 시스템은 기존 정신 건강 플랫폼에 통합되어 검색된 치료 세션 데이터를 기반으로 개인화된 응답을 생성할 수 있다.
