본 논문은 기존의 역전파나 순전파 최적화와 달리, 대규모 언어 모델(LLM)을 이용하여 신경망(NN)의 파라미터를 생성하는 새로운 방법인 NeuroGen을 제안합니다. NeuroGen은 두 단계로 구성됩니다. 첫 번째 단계인 Parameter Reference Knowledge Injection에서는 LLM을 NN 체크포인트를 이용하여 사전 훈련하여 파라미터 공간에 대한 기본적인 이해를 구축합니다. 두 번째 단계인 Context-Enhanced Instruction Tuning에서는 풍부하고 작업 중심적인 프롬프트를 통해 특정 작업에 맞게 LLM을 적응시킵니다. 실험 결과, NeuroGen이 사용 가능한 NN 파라미터를 효과적으로 생성하는 것을 보여주며, LLM 기반 NN 파라미터 생성의 가능성과 LLM과 경량 NN의 상승 작용을 제시합니다.
