대규모 언어 모델(LLM)은 훈련에 많은 비용과 시간이 소요되므로, 사전 훈련된 LLM의 가중치를 기반으로 특정 작업을 해결하기 위해 종종 미세 조정됩니다. 본 연구에서는 대칭 및 심플렉틱 미분 방정식을 기반으로 한 메모리 효율적인 가역 아키텍처를 LLM에 도입하고 이론적 특성을 조사합니다. 중간 활성화를 모두 저장하는 표준 아키텍처와 달리, 제안된 모델은 시간 가역 동역학을 사용하여 역전파 중 숨겨진 상태를 검색하여 활성화를 저장할 필요가 없도록 합니다. 이로 인해 메모리 소비가 대폭 감소하여 동일한 사용 가능한 메모리로 더 큰 배치 크기를 처리할 수 있으며, 처리량이 향상됩니다. 또한 기존의 비가역 LLM을 미세 조정을 통해 가역 아키텍처로 변환하는 효율적인 방법을 제안하여 기존의 사전 훈련된 모델을 활용할 수 있도록 합니다. 결과는 여러 데이터 세트 및 벤치마크에서 여러 LLM에 대해 유사하거나 향상된 성능을 보여주며, LLM의 처음부터 훈련 및 미세 조정과 관련된 메모리 및 계산 비용을 줄이기 위한 확장 가능하고 효율적인 경로를 구축합니다.
