Daily Arxiv

This page organizes papers related to artificial intelligence published around the world.
This page is summarized using Google Gemini and is operated on a non-profit basis.
The copyright of the paper belongs to the author and the relevant institution. When sharing, simply cite the source.

Dual-Balancing for Multi-Task Learning

Created by
  • Haebom
Category
Empty

저자

Baijiong Lin, Weisen Jiang, Feiyang Ye, Yu Zhang, Pengguang Chen, Ying-Cong Chen, Shu Liu, Ivor W. Tsang, James T. Kwok

개요

Multi-task 학습은 여러 관련 작업을 동시에 학습하는 것을 목표로 하며 다양한 분야에서 큰 성공을 거두었습니다. 그러나 작업 간의 손실 및 기울기 규모의 차이는 종종 성능 저하로 이어지며, 작업 균형 조정은 여전히 중요한 과제로 남아 있습니다. 이 논문에서는 손실 및 기울기 관점에서 작업 균형을 달성하기 위해 Dual-Balancing Multi-Task Learning (DB-MTL)을 제안합니다. 구체적으로, DB-MTL은 각 작업 손실에 로그 변환을 수행하여 손실 규모 균형을 달성하고, 모든 작업 기울기를 최대 기울기 노름을 사용하여 비교 가능한 크기로 정규화하여 기울기 크기를 재조정합니다. 여러 벤치마크 데이터셋에 대한 광범위한 실험을 통해 DB-MTL이 현재 SOTA보다 일관되게 더 나은 성능을 보여줍니다.

시사점, 한계점

DB-MTL은 손실 및 기울기 관점에서 작업 균형을 달성하는 새로운 multi-task learning 기법을 제안했습니다.
DB-MTL은 SOTA 보다 일관되게 더 나은 성능을 보였습니다.
논문에서 구체적인 한계점은 명시되지 않았습니다.
👍