본 논문은 대규모 언어 모델(LLM)을 생화학 과제, 특히 분자와 자연어 텍스트 간의 간극을 메우는 분자 캡션 변환 작업에 적용하는 새로운 방법인 In-Context Molecule Adaptation (ICMA)을 제안합니다. 기존 방법들의 한계점인 추가적인 도메인 특화 사전 훈련 단계, 약한 분자-텍스트 공간 정렬, LLM 규모에 대한 엄격한 요구사항을 해결하기 위해, ICMA는 컨텍스트 예시를 통해 LLM이 분자-텍스트 정렬을 학습하도록 하는 새로운 패러다임을 제시합니다. ICMA는 혼합 컨텍스트 검색, 검색 후 재순위 지정, 컨텍스트 내 분자 조정의 세 단계로 구성됩니다. 먼저, 혼합 컨텍스트 검색은 BM25 캡션 검색과 분자 그래프 검색을 사용하여 유사한 정보 컨텍스트 예시를 검색합니다. 검색 후 재순위 지정은 시퀀스 반전 및 랜덤 워크 선택으로 구성되어 검색 결과의 품질을 향상시킵니다. 마지막으로, 컨텍스트 내 분자 조정은 검색된 예시를 사용하여 LLM의 컨텍스트 내 학습 및 추론 기능을 활성화하고 분자와 텍스트 간의 정렬을 개선하기 위해 LLM의 매개변수를 조정합니다. 실험 결과, ICMA는 추가 훈련 코퍼스와 복잡한 구조 없이 최첨단 또는 유사한 성능을 달성할 수 있음을 보여주며, LLM이 본질적으로 컨텍스트 내 분자 학습자임을 시사합니다.
