Improving Multi-task Learning via Seeking Task-based Flat Regions
Created by
Haebom
저자
Hoang Phan, Lam Tran, Quyen Tran, Ngoc N. Tran, Tuan Truong, Qi Lei, Nhat Ho, Dinh Phung, Trung Le
개요
본 논문은 다중 작업 학습(MTL)에서 여러 작업의 그래디언트를 조작하여 최적의 그래디언트 강하 방향을 도출하는 기존 접근 방식의 한계를 다룹니다. 기존 방법들은 과적합 및 잡음이 있는 레이블로 인한 부정적 전이 문제에 취약합니다. 이를 해결하기 위해, 논문에서는 단일 작업 학습에서 일반화 성능을 향상시키는 Sharpness-aware Minimization (SAM) 기법을 MTL에 적용합니다. 제안된 방법은 각 작업에 대해 평탄한 최소점(flat minima)을 찾도록 유도하여 모든 작업의 일반화 성능을 향상시키는 새로운 MTL 학습 방법론을 제시하며, 다양한 실험을 통해 기존 방법 대비 우수성을 보입니다.
시사점, 한계점
•
시사점:
◦
SAM을 MTL에 적용하여 과적합 및 잡음 레이블 문제를 완화하고 일반화 성능을 향상시키는 새로운 방법론을 제시합니다.
◦
다양한 응용 분야에서 기존 그래디언트 기반 MTL 방법보다 우수한 성능을 보임을 실험적으로 증명합니다.
◦
작업 간의 부정적 전이를 줄이고 모든 작업에서 일관된 성능 향상을 달성합니다.
•
한계점:
◦
제안된 방법의 계산 비용이 기존 MTL 방법보다 높을 수 있습니다. (SAM의 추가 계산 비용)
◦
SAM의 하이퍼파라미터 튜닝이 필요하며, 최적의 하이퍼파라미터 설정이 작업 및 데이터셋에 따라 달라질 수 있습니다.
