Detecting Actionable Requests and Offers on Social Media During Crises Using LLMs
Created by
- Haebom
Category
Empty
저자
Ahmed El Fekih Zguir, Ferda Ofli, Muhammad Imran
개요
자연재해 발생 시 사회 미디어에는 지원 요청, 지원 제공, 감정 표현, 일반적인 정보 업데이트 등의 활동이 급증합니다. 본 논문은 인도주의적 기구의 효율적인 대응을 위해 위기 관련 정보(요청 및 제공)를 물품, 응급 인력, 행동이라는 세 가지 중요한 차원으로 체계적으로 구성하는 세분화된 계층적 분류 체계를 제안합니다. 대규모 언어 모델(LLM)의 기능을 활용하여, 임베딩 데이터베이스에서 클래스별로 라벨이 지정된 예시를 검색하는 쿼리 특정 퓨샷 학습(QSF 학습)을 도입하여 게시물 감지 및 분류 성능을 향상시킵니다. 분류 외에도 메시지의 실행 가능성을 평가하여 즉각적인 관심이 필요한 게시물의 우선순위를 정합니다. 광범위한 실험을 통해 제안된 접근 방식이 기준 프롬프팅 전략보다 우수하며, 실행 가능한 요청 및 제공을 효과적으로 식별하고 우선순위를 지정한다는 것을 보여줍니다.
시사점, 한계점
•
시사점:
◦
LLM과 QSF 학습을 활용하여 자연재해 상황에서 사회 미디어 정보를 효과적으로 분류하고 우선순위를 지정하는 새로운 방법을 제시합니다.
◦
인도주의적 기구의 효율적인 재난 대응을 지원할 수 있는 실용적인 시스템 개발에 기여합니다.
◦
세분화된 계층적 분류 체계를 통해 보다 정확하고 상세한 정보 분석이 가능합니다.
•
한계점:
◦
제안된 방법의 성능은 사용된 LLM과 임베딩 데이터베이스의 질에 의존적일 수 있습니다.
◦
다양한 언어와 문화적 맥락에 대한 일반화 성능은 추가적인 연구가 필요합니다.
◦
실제 재난 상황에서의 실시간 성능 및 확장성에 대한 검증이 필요합니다.
◦
특정 유형의 재난 또는 특정 사회 미디어 플랫폼에 편향될 가능성이 있습니다.
