Sign In

A Transformer-based Neural Architecture Search Method

Created by
  • Haebom
Category
Empty

저자

Shang Wang, Huanrong Tang, Jianquan Ouyang

개요

본 논문은 트랜스포머 아키텍처를 기반으로 하는 신경망 구조 탐색 방법을 제시하며, 다양한 인코더와 디코더 조합에 대한 크로스 멀티헤드 어텐션 계산 방식을 탐색합니다. 더 나은 번역 결과를 보이는 신경망 구조를 탐색하기 위해, BLEU 점수 외에 혼란도를 보조 평가 지표로 고려하고, 다중 목적 유전 알고리즘을 통해 모집단 내 각 개별 신경망을 반복적으로 개선합니다. 실험 결과, 본 알고리즘으로 탐색된 신경망 구조가 모든 기준 모델보다 우수하며, 보조 평가 지표의 도입이 BLEU 점수만 고려하는 것보다 더 나은 모델을 찾을 수 있음을 보여줍니다.

시사점, 한계점

트랜스포머 아키텍처 기반의 신경망 구조 탐색 방법 제시
다양한 인코더-디코더 조합 탐색
BLEU 점수 및 혼란도를 활용한 다중 목적 유전 알고리즘 기반 모델 개선
모든 기준 모델 대비 우수한 성능 달성
보조 평가 지표 도입을 통한 모델 성능 향상
(논문의 한계점에 대한 정보는 제시되지 않음)
👍