본 논문은 Transformer 모델의 두 가지 학습 방식인 in-weights learning (IWL)과 in-context learning (ICL)을 진화 생물학의 유전적 인코딩과 표현형 가소성에 비유하여 분석합니다. 환경의 예측 가능성(안정성과 신호의 신뢰성)이 IWL과 ICL의 균형에 영향을 미치는지를 실험적으로 조사합니다. 실험 결과, 높은 환경 안정성은 IWL을 선호하며, 신호의 신뢰성이 높을수록 특히 안정성이 낮을 때 ICL의 효율성이 향상됨을 보여줍니다. 또한, 과제의 특성에 따라 ICL에서 IWL로의 전환이 일어나는 시점이 다르다는 것을 밝히고, 이러한 전환을 상대적 비용 가설로 설명합니다. 결론적으로, 예측 가능성이 Transformer의 적응 전략을 결정하는 중요한 요소임을 제시하며, ICL 이해 및 학습 방법론 개선에 대한 새로운 통찰력을 제공합니다.
