# torch-sla: Differentiable Sparse Linear Algebra with Adjoint Solvers and Sparse Tensor Parallelism for PyTorch

### 저자

Mingyuan Chi, Shizheng Wen

### 💡 개요

본 논문은 과학적 머신러닝 분야에서 필수적인 미분 가능한 희소 선형 대수 연산을 PyTorch에서 지원하기 위해 \torchsla{} 라이브러리를 제안합니다. \torchsla{}는 CPU 및 GPU에서 다양한 솔버(직접, 반복, 비선형, 고유값)를 지원하는 단일 API를 제공하며, 자동 장치 및 문제 크기별 최적화 기능을 갖추고 있습니다. 또한, 희소 패턴이 공유되거나 다른 배치 연산을 지원하고, 도메인 분해와 할로 교환을 통한 분산 멀티 GPU 실행을 가능하게 하여 확장성을 높였습니다.

### 🔑 시사점 및 한계

- PyTorch 생태계에 미분 가능한 희소 선형 대수 연산을 위한 포괄적인 라이브러리를 제공하여 과학적 머신러닝 연구의 발전을 촉진합니다.

- 다양한 백엔드(SciPy, Eigen, cuDSS, CuPy, PyTorch 네이티브)와 솔버를 단일 API로 통합하여 사용자 편의성을 높이고 다양한 문제에 대한 유연성을 제공합니다.

- O(1)-그래프 미분 프레임워크와 자동 미분 호환 분산 할로 교환 레이어를 통해 대규모 문제를 효율적으로 처리할 수 있습니다.

- 현재는 GPU에 대한 통합적인 반복 솔버가 부족하며, 향후 더 다양한 GPU 기반 솔버의 추가 및 최적화가 필요합니다.

---

[PDF 보기](https://arxiv.org/pdf/2601.13994)

For the site tree, see the [root Markdown](https://slashpage.com/haebom.md).
