대규모 사전 훈련된 언어 모델의 높은 계산 및 메모리 요구 사항 문제를 해결하기 위해, 본 논문은 소형 언어 모델에 최적화된 새로운 신경망 구조 검색(NAS) 방법인 Elastic Language Model (ELM)을 소개합니다. ELM은 효율적인 트랜스포머 블록과 차원 및 헤드 수 조정을 위한 동적 모듈을 갖춘 유연한 검색 공간을 도입하여 기존 NAS 접근 방식을 확장합니다. 또한 각 블록의 고유한 특성을 보존하는 새로운 지식 증류 손실을 도입하여 검색 과정에서 아키텍처 선택의 변별력을 향상시킵니다. 실험 결과, ELM이 발견한 모델이 기존 방법에 비해 성능이 우수함을 보였습니다.
