EngiAI: A Multi-Agent Framework and Benchmark Suite for LLM-Driven Engineering Design

작성자

Haebom

카테고리

Empty

저자

Gioele Molinari, Florian Felten, Soheyl Massoudi, Mark Fuge

💡 개요

본 논문은 LLM 기반 엔지니어링 설계 평가의 한계를 극복하기 위해 시뮬레이션, 검색, 제조 준비를 결합한 다중 에이전트 시스템을 다루는 새로운 벤치마크 스위트와 프레임워크인 EngiAI를 제안합니다. EngiAI는 다양한 인지 요구사항을 목표로 하는 워크플로우, RAG, HPC 훈련 오케스트레이션의 세 가지 평가 차원을 포함하며, 7개의 특화된 에이전트를 감독 아키텍처로 조율합니다.

🔑 시사점 및 한계

•

LLM의 엔지니어링 설계 적용 가능성 검증: 다양한 LLM 백엔드를 사용하여 엔지니어링 설계 문제에서 높은 작업 완료율을 달성하며 LLM의 잠재력을 보여주었습니다.

•

다중 에이전트 시스템의 복잡성 및 평가의 중요성: 조건부 분기, 장기 실행 워크플로우에서의 다단계 지시 사항 이행과 같이 복잡한 작업에서 LLM의 성능 저하를 보여주며, 정교한 평가 프레임워크의 필요성을 강조합니다.

•

차세대 LLM 및 에이전트 아키텍처 연구 필요성: 특히 오픈소스 모델의 성능 향상 가능성과 향후 더 발전된 에이전트 아키텍처 및 훈련 방법론에 대한 연구가 필요합니다.

PDF 보기

Made with Slashpage