본 논문은 재료 과학과 같은 특수 과학 분야에 적용하기 위한 대규모 언어 모델(LLM)의 효율적이고 정확한 적응에 대한 어려움을 해결하는 두 단계 프레임워크를 제안합니다. 첫 번째 단계는 구조적 모델 압축을 통해 LLM의 가중치 행렬을 국소 저차원 "랭크 블록"으로 분해하고, 이 블록들을 Penrose 유사 비주기적 타일링 패턴으로 배열합니다. 각 블록은 스펙트럼 변환(예: 이산 코사인 또는 푸리에 변환)을 통해 압축되고, KL 발산 기반 정렬 손실을 통해 압축된 모델과 원래 전체 모델의 표현 간의 분포 유사성을 유지합니다. 두 번째 단계에서는 인간과 유사한 과학적 읽기 프로토콜을 사용하여 압축된 모델을 추가로 조정합니다. 즉, 기술적인 재료 과학 문서를 섹션별로 처리하고 각 섹션에 대해 구조화된 질문과 답변 과정을 수행합니다. 이 섹션별 Q&A 미세 조정 전략은 명시적인 추론 추적을 추출하고 점진적으로 도메인 지식을 주입하는 동시에 모델의 일반적인 언어 능력의 급격한 망각을 최소화합니다. 효율적인 압축과 목표 지향적 적응의 균형을 맞춤으로써, 본 논문의 두 단계 접근 방식은 데이터 부족 환경에서 고부가가치 도메인에 대한 LLM의 정확한 전문화를 가능하게 합니다. 본 논문에서는 이러한 원칙적이면서도 탐색적인 파이프라인을 제시하고 재료 과학 지식 통합을 발전시킬 수 있는 잠재력을 개략적으로 설명하며, 향후 연구에서 포괄적인 실증적 평가를 위한 기반을 마련합니다.
