본 논문은 대규모 언어 모델(LLM)의 상식 추론 능력 향상을 위해 재난 상황과 같은 복잡하고 빈도가 낮은 물리적 상식 지식이 필요한 분야에 초점을 맞추고 있습니다. 소규모 LLM을 재난 영역에 미세 조정하는 파이프라인인 FRIDA(Field Ready Instruction Decoding Agent)를 제시하며, 도메인 전문가와 언어학자의 지식을 결합하여 고품질 시드 데이터를 생성하고 이를 이용하여 합성 데이터를 생성하는 과정을 설명합니다. 130개의 시드 명령어, 25000개의 합성 명령어 데이터셋, 그리고 119개의 평가 명령어를 사용하여 LLaMa와 Mistral 모델을 미세 조정한 결과, FRIDA 모델이 기본 모델보다 성능이 우수함을 보였습니다. 추가적으로, ablation study를 통해 물리적 상태와 객체 기능에 대한 상식 지식 학습이 전체 데이터를 사용한 학습보다 성능 향상에 더 효과적임을 밝혔습니다. 결론적으로 FRIDA 파이프라인은 일반적인 상식을 주입할 수 있지만, 특정 도메인 지식을 위해서는 정보 검색 기능이 추가되어야 함을 시사합니다.
