본 논문은 대규모 언어 모델(LLM)의 전체 Hessian 행렬을 계산하는 것이 계산상 불가능하다는 점을 지적하며, PyTorch autograd 라이브러리를 사용하여 LLM의 Hessian 행렬의 일부를 정확하게 계산하는 방법에 대한 포괄적인 안내를 제공하는 것을 목표로 합니다. 벡터-Hessian 곱(HVPs)의 다중 샘플을 사용하여 Hessian 행렬의 전체 대각선을 계산하는 방법도 제시합니다. 본 논문과 함께 제공되는 GitHub 코드는 LLM의 Hessian 행렬의 동작과 구조를 더 잘 이해하고자 하는 연구자와 실무자에게 귀중한 자료가 될 것으로 기대됩니다.
