Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Hierarchical Mixture of Experts: Generalizable Learning for High-Level Synthesis

Created by
  • Haebom
Category
Empty

저자

Weikai Li, Ding Wang, Zijian Ding, Atefeh Sohrabizadeh, Zongyue Qin, Jason Cong, Yizhou Sun

개요

본 논문은 FPGA 설계에 널리 사용되는 고수준 합성(HLS)의 프로그래밍 과정에서 소프트웨어 개발자가 어려움을 겪는 하드웨어 지식 기반의 프래그마(pragma) 설계 자동화를 목표로 한다. 기존의 기계 학습 기반 프래그마 설계 자동화는 도메인 이동 문제로 인해 성능이 저하되는 한계를 보인다. 이를 해결하기 위해 본 논문은 다양한 GNN 모델에 유연하게 적용 가능한 2단계 계층적 전문가 혼합(MoE) 모델을 제안한다. 저수준 MoE는 노드, 기본 블록, 그래프의 세 가지 프로그램 세분화에 MoE를 적용하고, 고수준 MoE는 세 가지 세분화 결과를 종합하여 최종 결정을 내린다. 또한, 전문가 편향을 방지하기 위한 2단계 학습 방법을 제안한다. 광범위한 실험을 통해 제안된 계층적 MoE의 효과를 검증하고, 코드를 공개하였다.

시사점, 한계점

시사점:
FPGA 설계의 프래그마 자동 설계를 위한 새로운 접근법 제시: 계층적 MoE 모델을 활용하여 기존 기계 학습 기반 방법의 도메인 이동 문제를 완화.
다양한 GNN 모델에 적용 가능한 유연한 구조: 저수준 및 고수준 MoE를 통해 다양한 프로그램 세분화 및 GNN 모델 적용 가능.
안정적인 학습을 위한 2단계 학습 방법 제시: 전문가 편향 문제 해결.
공개된 코드를 통한 재현성 및 확장성 확보.
한계점:
제안된 모델의 성능이 다른 고급 HLS 최적화 기법에 비해 얼마나 우수한지에 대한 명확한 비교 부재.
실험에 사용된 데이터셋의 범위 및 다양성에 대한 자세한 설명 부족.
특정 유형의 FPGA 아키텍처 또는 HLS 툴에 대한 의존성 존재 가능성.
계층적 MoE의 계산 비용 및 복잡도에 대한 분석 부족.
👍