Multi-objective Optimization in CPU Design Space Exploration: Attention is All You Need
Created by
Haebom
저자
Runzhen Xue, Hao Wu, Mingyu Yan, Ziheng Xiao, Guangyu Sun, Xiaochun Ye, Dongrui Fan
개요
본 논문은 고차원 설계 공간에서의 CPU 설계를 위한 새로운 디자인 공간 탐색(DSE) 프레임워크인 AttentionDSE를 제시한다. 기존 DSE 프레임워크는 서로게이트 모델의 정확도 저하 및 확장성 문제, 수작업 휴리스틱이나 완전 탐색에 의존하는 비효율적인 탐색, 해석의 어려움 등의 문제점을 가지고 있다. AttentionDSE는 어텐션 기반 신경망 아키텍처를 통해 성능 예측과 설계 지침을 통합하여 이러한 문제를 해결한다. 어텐션 가중치는 정확한 성능 추정과 동시에 성능 병목 지점을 노출하는 이중 역할을 수행한다. 핵심 혁신으로는 계층 구조와 지역성을 활용하는 Perception-Driven Attention 메커니즘(복잡도 $\mathcal{O}(n^2)$에서 $\mathcal{O}(n)$으로 감소)과 목표 지향적 최적화를 위한 중요 매개변수를 자동으로 제시하는 Attention-aware Bottleneck Analysis가 있다. SPEC CPU2017 벤치마크를 사용한 고차원 CPU 설계 공간 평가에서, AttentionDSE는 최첨단 기준 모델에 비해 최대 3.9% 높은 Pareto Hypervolume과 80% 이상의 탐색 시간 단축을 달성했다.
시사점, 한계점
•
시사점:
◦
고차원 설계 공간에서의 DSE 문제를 해결하기 위한 효율적이고 해석 가능한 새로운 프레임워크 제시
◦
어텐션 메커니즘을 활용하여 성능 예측과 설계 지침을 통합, 효율적인 최적화 루프 구축
◦
Perception-Driven Attention 및 Attention-aware Bottleneck Analysis를 통해 계산 복잡도 감소 및 도메인 특정 휴리스틱 의존성 제거
◦
실험 결과를 통해 Pareto Hypervolume 향상 및 탐색 시간 단축 효과 검증
•
한계점:
◦
현재는 CPU 설계에 특화된 프레임워크로, 다른 설계 공간으로의 일반화 가능성에 대한 추가 연구 필요
◦
Perception-Driven Attention 메커니즘의 슬라이딩 윈도우 크기 및 매개변수 설정 등에 대한 최적화 연구 필요
◦
실험은 SPEC CPU2017 벤치마크에 국한되어 있으며, 다른 벤치마크나 실제 하드웨어에 대한 검증 필요
