본 논문은 텍스트 콘텐츠 내 미묘한 사회적 영향의 형태를 감지하기 위해 고안된 9가지 범주로 구성된 58가지 실증적 기술을 포함하는 포괄적인 프레임워크인 사회적 영향 기법 분류 체계(SITT)를 제시합니다. 또한 대규모 언어 모델(LLM)의 다양한 사회적 영향 형태 식별 능력을 조사합니다. 학제 간 기반을 바탕으로, 폴란드어로 작성되어 영어로 번역된 746개 대화 코퍼스인 SITT 데이터셋을 구성하여 LLM이 이러한 기술을 식별하는 능력을 평가합니다. 계층적 다중 레이블 분류 설정을 사용하여 GPT-4o, Claude 3.5, Llama-3.1, Mixtral 및 PLLuM을 포함한 5개의 LLM을 벤치마킹합니다. 결과는 Claude 3.5와 같이 일부 모델이 중간 정도의 성공(범주에 대한 F1 점수 = 0.45)을 거두었지만, 모델의 전반적인 성능은 특히 맥락에 민감한 기술에 대해 제한적임을 보여줍니다. 이러한 발견은 현재 LLM의 미묘한 언어적 단서에 대한 민감도의 주요 한계를 보여주고 도메인 특정 미세 조정의 중요성을 강조합니다. 본 연구는 LLM이 자연 대화에서 사회적 영향 전략을 어떻게 감지, 분류 및 잠재적으로 복제하는지 이해하기 위한 새로운 리소스와 평가 사례를 제공합니다.
