PerfReasoning: How Well Do LLMs Reason on Hardware Performance?
작성자
카테고리
Empty
저자
Dan Zhao, Karthikeyan Sankaralingam, Christos Kozyrakis, Qijing Huang
💡 개요
본 논문은 하드웨어 설계 및 소프트웨어 최적화에서 중요한 성능 모델링 능력을 평가하기 위해 PerfReasoning이라는 새로운 벤치마크를 제안합니다. 이 벤치마크는 대규모 언어 모델(LLM)이 연산, 데이터 재사용, 저장 및 이동에 대한 구조화된 추론 능력을 얼마나 잘 수행하는지, 그리고 성능 모델 코드를 생성하는 능력을 평가합니다. 실험 결과, 최신 LLM들이 성능 추론 질문에는 높은 정확도를 보였지만, 복잡한 성능 모델을 생성하는 데는 상당한 어려움을 겪는다는 사실을 발견했습니다.
🔑 시사점 및 한계
•
LLM은 하드웨어 성능 예측과 관련된 질문 답변에는 우수한 성능을 보이지만, 실제 성능 모델 코드를 생성하는 능력은 아직 제한적입니다.
•
작업 특화 강화 학습(RL)은 LLM의 성능 추론 정확도를 크게 향상시킬 수 있지만, 피드백 없는 다중 라운드 자기 수정 프롬프팅은 효과가 불확실합니다.
•
본 연구는 LLM의 '그럴듯한' 아키텍처 추론 능력과 '신뢰할 수 있는' 성능 모델 구축 능력 사이의 격차를 명확히 보여주며, 향후 LLM 기반 하드웨어 성능 모델링 연구 방향을 제시합니다.