Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

CFDLLMBench: A Benchmark Suite for Evaluating Large Language Models in Computational Fluid Dynamics

Created by
  • Haebom

저자

Nithin Somasekharan, Ling Yue, Yadi Cao, Weichao Li, Patrick Emami, Pochinapeddi Sai Bhargav, Anurag Acharya, Xingyu Xie, Shaowu Pan

개요

LLM(Large Language Models)이 복잡한 물리 시스템의 수치 실험 자동화에 활용되는 것을 탐구하기 위해, CFD(Computational Fluid Dynamics)를 대상으로 하는 CFDLLMBench를 소개합니다. CFDLLMBench는 CFDQuery, CFDCodeBench, FoamBench로 구성되며, CFD 지식, 수치적/물리적 추론, CFD 워크플로우 구현 능력을 평가합니다. 실제 CFD 관행에 기반하여 코드 실행 가능성, 솔루션 정확도, 수치적 수렴 행동을 평가하며, 수치 실험 자동화를 위한 LLM 개발 및 평가의 기반을 마련합니다.

시사점, 한계점

CFD 분야의 LLM 성능을 평가하는 포괄적인 벤치마크 개발
CFDQuery, CFDCodeBench, FoamBench를 통해 다양한 능력을 측정
코드 실행 가능성, 솔루션 정확도, 수치적 수렴 행동을 포함하는 엄격한 평가 프레임워크 제공
수치 실험 자동화를 위한 LLM 개발에 기여
논문의 한계점은 제시되지 않음
👍