본 논문은 인간 중심의 NLP 과제(저자 수준 정보 평가)를 위한 모델에서 Transformer 기반 LLMs의 은닉 상태에서 파생된 표현을 주로 사용하는 현 NLP의 경향을 분석합니다. 저자 수준의 은닉 상태를 암시적으로 모델링하는 HuLMs(Human Language Models)의 필요성을 강조하며, 다양한 LM 및 HuLM 아키텍처를 사용하여 문서와 사용자를 표현하는 여러 방식을 체계적으로 평가합니다. 특히 valence, arousal, empathy, distress 와 같은 역동적으로 변화하는 상태와 평균적인 특성과 같은 사용자 수준 속성을 예측하는 작업에서의 성능을 비교 분석합니다. 토큰 은닉 상태의 평균으로 문서를 표현하는 방법이 일반적으로 가장 우수한 성능을 보이며, 사용자 수준 은닉 상태 자체는 최고의 표현이 아니더라도 모델에 포함시키면 문서 및 사용자 수준 표현을 도출하는 데 사용되는 토큰 또는 문서 임베딩을 강화하여 최고 성능을 달성한다는 것을 발견했습니다.
