VecTrans: LLM Transformation Framework for Better Auto-vectorization on High-performance CPU
Created by
Haebom
Category
Empty
저자
Zhongchun Zheng, Long Cheng, Lu Li, Rodrigo C. O. Rocha, Tianyi Liu, Wei Wei, Xianwei Zhang, Yaoqing Gao
개요
본 논문은 컴파일러 기반 코드 벡터화를 향상시키기 위해 대규모 언어 모델(LLM)을 활용하는 새로운 프레임워크인 VecTrans를 제시합니다. VecTrans는 컴파일러 분석을 통해 벡터화 가능한 코드 영역을 식별하고, LLM을 사용하여 컴파일러의 자동 벡터화에 적합한 패턴으로 해당 영역을 리팩토링합니다. 중간 표현(IR) 수준에서 하이브리드 검증 메커니즘을 통합하여 의미적 정확성을 보장합니다. 실험 결과, Clang, GCC, BiShengCompiler로 벡터화할 수 없는 50개의 TSVC 함수 중 23개(46%)를 성공적으로 벡터화하여 평균 2.02배의 속도 향상을 달성했습니다.
시사점, 한계점
•
시사점:
◦
LLM을 활용하여 컴파일러의 벡터화 성능을 크게 향상시킬 수 있음을 보여줌.
◦
기존 컴파일러가 처리하지 못하는 복잡한 코드 패턴에 대한 벡터화를 가능하게 함.
◦
LLM의 적응성과 컴파일러 벡터화의 정확성을 결합하여 벡터화 기회를 효과적으로 확장.
◦
평균 2.02배의 속도 향상이라는 실험 결과를 통해 성능 향상을 검증.
•
한계점:
◦
현재는 50개의 TSVC 함수에 대한 제한적인 실험 결과만 제시. 더욱 광범위한 실험 및 다양한 종류의 코드에 대한 테스트가 필요.
◦
LLM의 환각(hallucination) 문제에 대한 완벽한 해결책 제시는 아직 부족. 하이브리드 검증 메커니즘의 성능 및 한계에 대한 추가 분석 필요.
◦
특정 LLM 및 컴파일러에 의존적일 가능성 존재. 다양한 LLM 및 컴파일러 환경에서의 호환성 및 성능 평가가 필요.
