본 논문은 다양한 분야에 걸쳐 (다중 모달) 규정 규칙을 모델링하기 위한 통합 사양 언어인 Horae를 제시합니다. 기존 AI 기반 규정 기술의 일반화 어려움을 해결하기 위해, Horae는 RuleGPT라는 미세 조정된 대규모 언어 모델을 활용하여 Horae 모델링 프로세스를 자동화함으로써 완전 자동화된 지능형 서비스 규정을 위한 엔드투엔드 프레임워크를 제공합니다. 실제 규정 영역의 벤치마크를 통해 프레임워크의 실행 가능성과 효과를 보여주며, 70억 개의 매개변수를 가진 오픈소스 RuleGPT가 GPT-3.5를 능가하고 GPT-4와 동등한 성능을 보임을 입증합니다.
시사점, 한계점
•
시사점:
◦
다양한 서비스 규정 영역에 적용 가능한 통합 규정 모델링 언어 Horae 제시
◦
RuleGPT를 활용한 자동화된 지능형 서비스 규정 프레임워크 구축
◦
70억 매개변수의 오픈소스 RuleGPT가 기존 대규모 언어 모델보다 우수한 성능을 보임을 실증
◦
완전 자동화된 지능형 서비스 규정 가능성 제시
•
한계점:
◦
RuleGPT의 성능은 벤치마크 데이터셋에 의존적일 수 있음. 다른 데이터셋에 대한 일반화 성능 검증 필요.
