본 논문은 다국어 코드 생성이라는 난제를 해결하기 위해 제한된 계산 자원 내에서 기존 대규모 언어 모델(LLM)의 다중 프로그래밍 언어(MultiPL) 성능을 향상시키는 방법을 제시한다. MultiPL을 다중 자연어의 특수한 경우로 간주하고, 전문가 혼합 모델(MoE)의 하이브리드 구조인 MultiPL-MoE를 제안한다. MultiPL-MoE는 토큰 단계와 세그먼트 단계에서 전문가 선택을 최적화하기 위해 두 개의 MoE를 결합한다. 토큰 단계 MoE는 공유 전문가와 게이트 가중치 정규화 기법을 사용하고, 세그먼트 단계 MoE는 슬라이딩 윈도우와 상위 k개 세그먼트 선택 전략을 통해 프로그래밍 언어의 구문 구조와 문맥 패턴을 더 잘 포착한다. 실험 결과는 MultiPL-MoE의 효과를 입증하였다.
시사점, 한계점
•
시사점:
◦
제한된 자원 하에서 다중 프로그래밍 언어(MultiPL) 성능 향상 가능성 제시
◦
토큰 및 세그먼트 단계의 전문가 선택 최적화를 통한 효율적인 MoE 구조 제안
◦
슬라이딩 윈도우와 상위 k개 세그먼트 선택 전략을 통한 프로그래밍 언어 구조 및 문맥 이해 개선
◦
MultiPL-MoE의 효과성 실험적으로 검증
•
한계점:
◦
논문에서 구체적인 실험 설정, 데이터셋, 비교 대상 모델 등에 대한 자세한 정보 부족
◦
제안된 MultiPL-MoE의 일반화 성능 및 다양한 프로그래밍 언어에 대한 적용 가능성에 대한 추가 연구 필요
