# Model Connectomes: A Generational Approach to Data-Efficient Language Models

### 저자

Klemen Kotar, Greta Tuckute

### 개요

본 논문은 생물학적 신경망의 진화적 요소와 개체 학습을 모방한 인공 신경망 프레임워크를 제안합니다.  "외부 루프"인 진화 과정을 통해 "내부 루프"인 학습 과정을 형성하는 구조로, 1억 토큰 규모의 말뭉치를 사용하여 언어 모델을 학습시켰습니다.  "모델 커넥톰"을 상속받은 모델이 대조군 모델들과 비교하여 자연어 처리 작업과 인간 행동 및 뇌 데이터와의 정합성 측면에서 동등하거나 더 나은 성능을 보였습니다. 이는 모델 커넥톰이 데이터가 부족한 환경에서 효율적인 사전 지식 역할을 한다는 것을 시사합니다.

### 시사점, 한계점

- **시사점:**

    - 생물학적 신경망의 진화적 요소와 개체 학습을 인공 신경망에 효과적으로 통합하는 새로운 프레임워크 제시.

    - 모델 커넥톰이 데이터 부족 환경에서 효율적인 사전 지식으로 작용하여 학습 성능을 향상시킬 수 있음을 증명.

    - 인공 신경망과 생물학적 신경망 간의 격차를 줄이는 데 기여.

    - 자연어 처리 작업 및 인간 행동/뇌 데이터와의 정합성 향상 가능성 제시.

- **한계점:**

    - 아직 예비 연구 단계로, 더욱 확장된 연구가 필요.

    - 제시된 프레임워크의 일반화 가능성에 대한 추가적인 검증 필요.

    - 사용된 말뭉치의 특성이 결과에 미치는 영향에 대한 분석 필요.

    - 모델 커넥톰의 최적 설계 및 진화 과정에 대한 추가 연구 필요.

[PDF 보기](https://arxiv.org/pdf/2504.21047)

![https://i.imgur.com/VzIDJgy.jpeg](https://i.imgur.com/VzIDJgy.jpeg)

For the site tree, see the [root Markdown](https://slashpage.com/haebom.md).