본 논문은 다양한 분야에서 널리 사용되는 대규모 언어 모델 (LLM)의 신뢰성 평가를 위한 새로운 프레임워크인 HIP-LLM (Hierarchical Imprecise Probability framework)을 소개합니다. 기존의 벤치마크 기반 평가가 모델 정확도에 대한 제한적인 통찰력만 제공하는 반면, HIP-LLM은 소프트웨어 신뢰성 공학의 원리를 기반으로 LLM의 신뢰성을 정의하고, 계층적인 구조를 통해 하위 도메인에서 시스템 레벨의 신뢰성을 추론합니다. 불확실성을 포착하기 위해 부정확한 사전 정보를 사용하고 사용 컨텍스트를 반영하기 위해 Operational Profile (OP)을 통합합니다. 실험 결과는 HIP-LLM이 기존 방법론보다 정확하고 표준화된 신뢰성 특성화를 제공함을 보여줍니다.
시사점, 한계점
•
시사점:
◦
LLM 신뢰성 평가를 위한 새로운 프레임워크 제시.
◦
계층적 구조를 통해 하위 도메인 간의 의존성을 모델링하고, 시스템 레벨의 신뢰성을 추론.
◦
부정확한 사전 정보와 Operational Profile (OP)을 활용하여 불확실성과 사용 컨텍스트 반영.
