본 논문은 대규모 언어 모델(LLM)과 비전-언어 모델(VLM)의 안정성을 정량적으로 측정하고 향상시키는 새로운 방법을 제시합니다. 기존 연구에서 소홀히 다뤄졌던 LLM의 안정성 문제를 해결하기 위해, 정보 기하학에 기반한 새로운 안정성 측정 지표를 제안합니다. 이 지표는 매개변수 및 입력 변화에 대한 모델 민감도 분석에 적합하도록 불변성을 갖습니다. 1.5B에서 13B 파라미터 규모의 다양한 모델에 대한 실험을 통해, 제안된 지표가 중요한 매개변수를 식별하고, 입력 이미지의 취약 영역이나 토큰 임베딩의 중요 차원을 감지하는 유용성을 보여줍니다. 나아가, 이 안정성 프레임워크를 활용하여 모델 병합 과정에서 모델의 강건성을 향상시켜 성능을 개선합니다.
