Scaling Open-Weight Large Language Models for Hydropower Regulatory Information Extraction: A Systematic Analysis
Created by
Haebom
Category
Empty
저자
Hong-Jun Yoon, Faisal Ashraf, Thomas A. Ruggles, Debjani Singh
개요
본 논문은 대규모 언어 모델(LLM)을 사용하여 규제 문서에서 정보를 추출하는 과정에서 성능과 계산 자원 간의 중요한 트레이드 오프를 분석합니다. 7개의 오픈 웨이트 모델(0.6B-70B 파라미터)을 수력 발전 면허 관련 문서에 대해 평가하여 실증적인 배포 지침을 제공합니다. 14B 파라미터 임계값을 기준으로 유효성 검증 방법의 성능 변화를 확인했으며, 소비자 배포 가능한 모델은 64%의 F1 점수를 달성하고, 대규모 모델은 77%에 가까운 F1 점수를 기록했습니다. 작은 모델에서는 추출 실패를 나타내는 체계적인 환각 패턴을 발견했습니다.
시사점, 한계점
•
14B 파라미터 임계값 존재: 유효성 검증 방법의 효과적인 사용을 위한 임계점 제시
•
소비자 배포 가능한 모델의 성능: 적절한 검증을 통해 64%의 F1 점수 달성 가능
•
대규모 모델의 성능: 엔터프라이즈 인프라 필요, 77% F1 점수 근접
•
작은 모델의 환각 문제: 작은 모델에서 추출 실패를 나타내는 환각 패턴 확인
•
수력 발전 규정 준수를 위한 즉각적인 가치 제공
•
정보 추출 작업 전반에 걸친 파라미터 스케일링 효과에 대한 통찰력 제공
•
(한계점) 구체적인 한계점 언급 없음 (예: 사용된 데이터셋의 특징, 모델 학습 방식 등)
