Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Genomic Next-Token Predictors are In-Context Learners

Created by
  • Haebom
Category
Empty

저자

Nathan Breslow, Aayush Mishra, Mahler Revsine, Michael C. Schatz, Anqi Liu, Daniel Khashabi

개요

본 논문은 대규모 예측 훈련을 통해 다른 시퀀스 도메인에서도 문맥 내 학습(ICL)이 자연적으로 발생할 수 있는지 탐구한다. 특히, 인간 언어 대신 유전체 서열을 사용하여 Evo2 유전체 모델을 훈련하고, 언어 모델과 유전체 모델 간의 ICL 능력을 비교하는 실험 프레임워크를 개발했다. 그 결과, 유전체 모델에서도 언어 모델과 유사하게 문맥 내 시연 횟수가 증가함에 따라 패턴 유추 능력이 향상됨을 확인했다. 이는 ICL이 대규모 예측 모델링의 결과로 발생할 수 있다는 가설을 뒷받침하며, ICL이 언어에 국한되지 않고 다양한 도메인에서 나타날 수 있음을 시사한다.

시사점, 한계점

시사점:
ICL이 언어 모델 외에 유전체 서열 모델에서도 나타날 수 있음을 최초로 증명.
ICL이 대규모 예측 모델링을 통해 발생하는 일반적인 현상임을 시사.
ICL에 대한 단일하고 모달리티에 구애받지 않는 관점을 제시.
한계점:
중간 규모의 모델을 사용했으므로, 더 큰 규모의 모델에서 나타날 수 있는 ICL 현상에 대한 추가 연구 필요.
특정 유전체 모델(Evo2)에 대한 연구이므로, 다른 유전체 모델 및 도메인에 대한 일반화 가능성 추가 검증 필요.
제시된 ICL 실험 프레임워크의 다양한 task에 대한 확장 및 개선 가능성 존재.
👍