Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

DrafterBench: Benchmarking Large Language Models for Tasks Automation in Civil Engineering

Created by
  • Haebom

저자

Yinsheng Li, Zhen Dong, Yi Shao

개요

본 논문은 토목공학 분야의 기술 도면 수정 작업에 초점을 맞춘, 대규모 언어 모델(LLM) 에이전트를 위한 새로운 벤치마크인 DrafterBench를 제안합니다. DrafterBench는 실제 도면 파일에서 요약된 12가지 유형의 작업, 46개의 맞춤형 기능/도구, 총 1920개의 작업으로 구성되어 있습니다. LLM 에이전트의 복잡하고 긴 문맥의 지시 사항 해석, 사전 지식 활용, 암묵적 정책 인식을 통한 동적인 지시 사항 품질에 대한 적응 능력을 엄격하게 테스트하기 위해 설계되었습니다. 구조화된 데이터 이해, 함수 실행, 지시 사항 준수, 비판적 추론 등의 다양한 능력을 종합적으로 평가하며, 작업 정확도 및 오류 통계에 대한 상세한 분석을 제공하여 에이전트의 기능에 대한 심층적인 통찰력을 제공하고, 공학 응용 분야에서 LLM 통합을 위한 개선 목표를 파악하는 것을 목표로 합니다. DrafterBench는 오픈소스이며 GitHub 및 Hugging Face에서 이용 가능합니다.

시사점, 한계점

•
시사점:
◦
토목공학 분야 LLM 에이전트의 체계적인 평가를 위한 새로운 벤치마크 제공.
◦
실제 세계의 작업을 반영하는 다양하고 풍부한 작업 세트 제공.
◦
LLM 에이전트의 다양한 능력(구조화된 데이터 이해, 함수 실행, 지시 사항 준수, 비판적 추론)을 종합적으로 평가 가능.
◦
오픈소스로 공개되어 연구 및 개발에 기여.
◦
에이전트 성능 분석을 통한 LLM 기반 엔지니어링 애플리케이션 개선 방향 제시.
•
한계점:
◦
현재는 토목공학 분야의 기술 도면 수정 작업에만 국한됨. 다른 분야로의 확장성에 대한 검토 필요.
◦
벤치마크의 규모 및 복잡성으로 인해 평가에 상당한 컴퓨팅 자원이 필요할 수 있음.
◦
벤치마크의 일반화 가능성 및 다양한 LLM 에이전트에 대한 적용성에 대한 추가적인 연구가 필요.
👍
Made with Slashpage