PHM-Bench: A Domain-Specific Benchmarking Framework for Systematic Evaluation of Large Models in Prognostics and Health Management
Created by
Haebom
저자
Puyu Yang, Laifa Tao, Zijian Huang, Haifei Liu, Wenyan Cao, Hao Ji, Jianan Qiu, Qixuan Huang, Xuanyuan Su, Yuhang Xie, Jun Zhang, Shangyu Li, Chen Lu, Zhixuan Lian
개요
본 논문은 생성형 인공지능의 발전으로 산업 분야에서 대규모 언어 모델(LLM)의 활용이 증가함에 따라 예지 및 건전성 관리(PHM) 분야에 새로운 기회를 제공하지만, 기존 평가 방법론의 부족으로 LLM의 PHM 분야 통합이 어렵다는 점을 지적합니다. 이에 본 연구는 PHM 지향 대규모 모델을 위한 3차원 평가 프레임워크인 PHM-Bench를 제안합니다. PHM-Bench는 기본 기능, 핵심 작업, 전체 수명주기라는 3가지 구조를 기반으로 하며, 지식 이해, 알고리즘 생성, 작업 최적화를 포함한 다단계 평가 지표를 정의합니다. 여러 PHM 작업(상태 모니터링, 결함 진단, RUL 예측, 유지보수 의사결정 등)에 걸쳐 일반 목적 및 도메인 특정 모델의 다차원 평가를 가능하게 하며, PHM에서 LLM의 대규모 평가를 위한 방법론적 기반을 구축하고 일반 목적 모델에서 PHM 전문 모델로의 전환을 위한 중요한 벤치마크를 제공합니다.
시사점, 한계점
•
시사점:
◦
PHM 분야에서 LLM 평가를 위한 체계적인 3차원 평가 프레임워크(PHM-Bench) 제시
