# Rethinking the Harmonic Loss via Non-Euclidean Distance Layers

### 저자

Maxwell Miller-Golub, Collin Coil, Kamil Faber, Marcin Pietron, Panpan Zheng, Pasquale Minervini, Roberto Corizzo

### 💡 개요

본 연구는 기존 교차 엔트로피 손실 함수의 한계를 극복하기 위해 유클리드 기하학에 기반한 하모닉 손실을 비유클리드 거리 측정법을 포함하여 확장합니다. 다양한 거리 측정법을 탐색하고 비전 및 언어 모델에서의 성능, 해석 가능성, 지속 가능성을 종합적으로 평가하여, 비전 태스크에서는 코사인 거리가, 언어 모델에서는 코사인 기반 하모닉 손실이 개선된 성능과 효율성을 제공함을 보였습니다.

### 🔑 시사점 및 한계

- 하모닉 손실 함수에 다양한 비유클리드 거리 측정법을 적용함으로써 모델 성능, 해석 가능성, 지속 가능성 간의 균형점을 개선할 수 있습니다.

- 비전 모델에서는 코사인 거리가, 언어 모델에서는 코사인 기반 하모닉 손실이 교차 엔트로피 손실 대비 이점을 제공하며, 특히 학습 안정성과 탄소 배출량 감소 측면에서 유의미합니다.

- 본 연구에서 제안된 거리 측정법들의 효과는 특정 모델 아키텍처 및 데이터셋에 따라 달라질 수 있으며, 계산 효율성에 대한 추가적인 심층 분석이 필요합니다.

---

[PDF 보기](https://arxiv.org/pdf/2603.10225)

For the site tree, see the [root Markdown](https://slashpage.com/haebom.md).
