Extracting Disaster Impacts and Impact Related Locations in Social Media Posts Using Large Language Models
Created by
Haebom
Category
Empty
저자
Sameeah Noreen Hameed, Surangika Ranathunga, Raj Prasanna, Kristin Stock, Christopher B. Jones
개요
본 연구는 대규모 재난 발생 시 소셜 미디어 게시글을 활용하여 피해 위치를 식별하는 방법을 제시합니다. 대규모 언어 모델(LLM)을 활용하여 재난 관련 소셜 미디어 게시글에서 모든 위치, 피해, 그리고 피해 위치를 식별합니다. 특히, LLM을 미세 조정하여 비공식 표현, 약어 및 축약형으로 언급된 위치를 포함하여, 피해 위치와 피해를 정확하게 추출합니다. 실험 결과, 미세 조정된 모델은 피해 식별에서 F1-score 0.69, 피해 위치 추출에서 F1-score 0.74를 기록하며 기존 모델보다 우수한 성능을 보였습니다.
시사점, 한계점
•
시사점:
◦
재난 상황에서 자원 배분, 상황 인지, 복구 계획 수립에 필요한 시의적절한 정보를 제공하는 데 기여할 수 있습니다.
◦
소셜 미디어 데이터를 "지리적 센서"로 활용하여 재난 정보를 얻는 확장 가능한 솔루션을 제시합니다.
◦
미세 조정된 LLM을 통해 비공식적인 표현과 다양한 형식의 위치 정보를 정확하게 식별할 수 있습니다.
•
한계점:
◦
F1-score가 0.74로, 아직 개선의 여지가 있습니다.
◦
모델의 성능은 학습 데이터의 품질과 양에 따라 영향을 받을 수 있습니다.
◦
모델이 모든 유형의 피해와 관련된 소셜 미디어 게시글을 정확하게 식별하지 못할 수 있습니다.
