Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Gene42: Long-Range Genomic Foundation Model With Dense Attention

Created by
  • Haebom
Category
Empty

저자

Kirill Vishniakov, Boulbaba Ben Amor, Engin Tekin, Nancy A. ElNaker, Karthik Viswanathan, Aleksandr Medvedev, Aahan Singh, Maryam Nadeem, Mohammad Amaan Sayeed, Praveenkumar Kanithi, Tiago Magalhaes, Natalia Vassilieva, Dwarikanath Mahapatra, Marco Pimentel, and Shadab Khan

개요

Gene42는 최대 192,000 base pairs (bp)의 긴 컨텍스트 길이를 단일 뉴클레오타이드 해상도로 처리하도록 설계된 새로운 Genomic Foundation Models (GFMs) 계열입니다. LLaMA 스타일의 디코더 전용 아키텍처와 밀집 자기 주의 메커니즘을 사용하며, 4,096 bp의 고정 길이 시퀀스로 초기 훈련 후 192,000 bp까지 컨텍스트 길이를 확장하는 연속적인 사전 훈련을 거쳤습니다. 대규모 유전체 데이터를 포괄적으로 처리하고 인간 게놈 내 복잡한 패턴과 의존성을 포착할 수 있습니다. 유전체학에서 이처럼 긴 컨텍스트 길이를 처리할 수 있는 최초의 밀집 주의 모델이며, 종종 합성곱 연산자 등을 사용하는 상태 공간 모델에 도전장을 내밉니다. 낮은 퍼플렉시티 값과 높은 재구성 정확도를 보이며, 다양한 유전체 벤치마크에 대한 광범위한 실험을 통해 생물 유형 분류, 조절 영역 식별, 크로마틴 프로파일링 예측, 변이 병원성 예측, 종 분류 등 여러 작업에서 최첨단 성능을 보여줍니다. Hugging Face에서 공개적으로 이용 가능합니다.

시사점, 한계점

•
시사점:
◦
최대 192,000 bp의 긴 컨텍스트 길이를 처리하는 최초의 밀집 주의 기반 GFM 모델 제시.
◦
다양한 유전체 분석 작업에서 최첨단 성능 달성.
◦
모델의 공개를 통한 유전체학 연구의 발전 기여.
◦
기존 상태 공간 모델의 한계를 극복하는 새로운 접근 방식 제시.
•
한계점:
◦
본 논문에서는 구체적인 한계점이 언급되지 않았습니다. 추가적인 연구를 통해 모델의 성능 저하 요인이나 적용 가능성의 제한 등을 분석할 필요가 있습니다.
👍
Made with Slashpage