본 논문은 대규모 언어 모델(LLM)의 성능 향상을 위해 외부 도구 및 다른 심층 학습 모델을 활용하는 테스트 시간 계산을 연구합니다. 기존의 비텍스트 모달리티 표현을 LLM에 통합하는 방법들은 추가적인 비용이 드는 감독 학습이 필요하지만, 제안하는 In-Context Representation Learning (ICRL)은 소수 샷 학습을 통해 비텍스트 모달리티 표현을 적응적으로 활용할 수 있도록 합니다. ICRL은 기존의 컨텍스트 학습과 달리 텍스트-레이블 쌍 대신 기초 모델(FM)의 표현을 사용하여 미세 조정 없이 다중 모달 추론을 수행합니다. 분자 영역의 여러 과제를 통해 ICRL의 실행 가능성을 평가하고, FM 표현을 LLM에 매핑하는 방법, ICRL 성능에 영향을 미치는 요소, ICRL의 효과를 뒷받침하는 메커니즘을 조사합니다. ICRL은 비텍스트 모달리티 표현을 텍스트 기반 LLM에 통합하는 최초의 학습 없는 프레임워크로, 적응 가능한 다중 모달 일반화를 위한 유망한 방향을 제시합니다.
