본 논문은 다중 작업 시각적 지시 조정에서 발생하는 잠재적 지식 충돌로 인한 최적이 아닌 불균형적인 성능 문제를 해결하기 위해 새로운 포괄적 작업 균형(CoTBal) 알고리즘을 제시합니다. 기존의 다중 작업 시각적 지시 조정은 여러 시각적 작업을 동시에 학습할 때, 작업 간 지식 충돌로 인해 최적이 아닌 불균형적인 성능을 초래할 수 있습니다. CoTBal 알고리즘은 작업 간 기여도(Inter-Task Contribution)와 작업 내 난이도(Intra-Task Difficulty)라는 두 가지 중요한 차원을 고려하여, 다른 작업에 대한 기여도가 크고, 다른 작업으로부터 받는 기여도가 적으며, 학습 난이도가 높은 작업에 더 큰 가중치를 부여함으로써 포괄적인 작업 균형을 달성합니다. 세 가지 벤치마크에 대한 광범위한 실험을 통해 CoTBal 알고리즘이 다중 작업 시각적 지시 조정에서 우수하고 균형 잡힌 전반적인 성능을 제공함을 보여줍니다. 본 논문은 시각적 지시 조정에서 다중 작업 최적화를 탐구한 최초의 연구입니다.
