This page organizes papers related to artificial intelligence published around the world. This page is summarized using Google Gemini and is operated on a non-profit basis. The copyright of the paper belongs to the author and the relevant institution. When sharing, simply cite the source.
Baijiong Lin, Weisen Jiang, Feiyang Ye, Yu Zhang, Pengguang Chen, Ying-Cong Chen, Shu Liu, Ivor W. Tsang, James T. Kwok
개요
Multi-task 학습은 여러 관련 작업을 동시에 학습하는 것을 목표로 하며 다양한 분야에서 큰 성공을 거두었습니다. 그러나 작업 간의 손실 및 기울기 규모의 차이는 종종 성능 저하로 이어지며, 작업 균형 조정은 여전히 중요한 과제로 남아 있습니다. 이 논문에서는 손실 및 기울기 관점에서 작업 균형을 달성하기 위해 Dual-Balancing Multi-Task Learning (DB-MTL)을 제안합니다. 구체적으로, DB-MTL은 각 작업 손실에 로그 변환을 수행하여 손실 규모 균형을 달성하고, 모든 작업 기울기를 최대 기울기 노름을 사용하여 비교 가능한 크기로 정규화하여 기울기 크기를 재조정합니다. 여러 벤치마크 데이터셋에 대한 광범위한 실험을 통해 DB-MTL이 현재 SOTA보다 일관되게 더 나은 성능을 보여줍니다.
시사점, 한계점
•
DB-MTL은 손실 및 기울기 관점에서 작업 균형을 달성하는 새로운 multi-task learning 기법을 제안했습니다.