AMSbench: A Comprehensive Benchmark for Evaluating MLLM Capabilities in AMS Circuits
Created by
Haebom
저자
Yichen Shi, Ze Zhang, Hongyang Wang, Zhuofu Tao, Zhongyi Li, Bingyu Chen, Yaxin Wang, Zhiping Yu, Ting-Jung Lin, Lei He
개요
본 논문은 아날로그/혼합 신호(AMS) 회로 설계 자동화의 어려움을 해결하기 위해, 다양한 AMS 관련 과제에 걸쳐 다중 모달 대규모 언어 모델(MLLM)의 성능을 체계적으로 평가하는 벤치마크인 AMSbench를 소개합니다. AMSbench는 회로 개략도 인식, 회로 분석, 회로 설계 등의 다양한 난이도의 약 8000개의 테스트 질문으로 구성되며, Qwen 2.5-VL 및 Gemini 2.5 Pro와 같은 오픈소스 및 독점 솔루션을 포함한 8개의 주요 모델을 평가합니다. 평가 결과, 현재 MLLM은 특히 복잡한 다중 모달 추론 및 정교한 회로 설계 작업에서 상당한 한계를 보이며, 회로 관련 지식에 대한 MLLM의 이해와 효과적인 적용을 발전시켜야 함을 강조합니다. AMSbench 데이터는 huggingface에서 공개됩니다.
시사점, 한계점
•
시사점: AMS 회로 설계 자동화를 위한 MLLM의 잠재력을 평가하는 포괄적인 벤치마크인 AMSbench를 제시합니다. 현재 MLLM의 성능 한계를 명확히 제시하여 향후 연구 방향을 제시합니다. 공개된 데이터셋을 통해 후속 연구를 촉진합니다.
•
한계점: 현재 MLLM은 복잡한 다중 모달 추론 및 정교한 회로 설계 작업에서 상당한 성능 저하를 보입니다. 인간 전문가 수준의 성능 달성에는 추가적인 연구가 필요합니다. 벤치마크에 포함된 모델의 종류 및 수가 제한적일 수 있습니다.