본 연구는 재료 과학 분야에서 대규모 언어 모델(LLMs)의 성능과 견고성을 평가합니다. 학부 수준 재료 과학 문제, 강도 데이터를 포함하는 강철 합금 데이터, 그리고 밴드 갭 값과 결정 구조 정보를 포함하는 밴드 갭 데이터셋 세 가지를 사용하여, 제로샷 체인 오브 스레드, 전문가 프롬프팅, 그리고 몇몇 샷 인 컨텍스트 학습 등 다양한 프롬프팅 전략 하에서 LLM의 성능을 평가합니다. 또한 현실적인 잡음부터 의도적인 적대적 조작까지 다양한 형태의 '잡음'에 대한 LLM의 견고성을 테스트하여 실제 환경에서의 복원력과 신뢰성을 평가하고, 프롬프트 예시의 근접성 변화에 따른 모드 붕괴 현상 및 훈련/테스트 불일치로부터의 성능 회복과 같은 LLM의 독특한 현상을 보여줍니다. 결과적으로 재료 과학에서 LLM의 광범위한 사용에 대한 신중한 비판적 시각을 제시하고, 실제 응용을 위한 LLM의 견고성과 신뢰성을 향상시키는 발전을 촉진하고자 합니다.
