Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

M-HOF-Opt: Multi-Objective Hierarchical Output Feedback Optimization via Multiplier Induced Loss Landscape Scheduling

Created by
  • Haebom

저자

Xudong Sun, Nutan Chen, Alexej Gossmann, Matteo Wohlrapp, Yu Xing, Carla Feistner, Emilio Dorigatt, Felix Drost, Daniele Scarcella, Lisa Beer, Carsten Marr

개요

다중 목적 함수 최적화를 위한 확률적 그래프 모델을 제안합니다. 이 모델은 모델 파라미터와 승수의 공동 진화를 모델링하며, 초부피 기반 가능도를 사용하여 구조적 위험 최소화에서 다중 목적 하강을 촉진합니다. 시간에 따라 변하는 승수를 사용하는 대리 단일 목적 페널티 손실을 통해 다중 목적 모델 파라미터 최적화를 수행하며, 이는 손실 지형의 온라인 스케줄링과 동일합니다. 다중 목적 하강 목표는 파레토 우월성에 따라 경계가 축소되는 일련의 제약 최적화 하위 문제로 계층적으로 분산됩니다. 이 경계는 각 손실 항의 출력 피드백을 통해 손실 지형을 스케줄링하는 저수준 승수 제어기의 설정점 역할을 합니다. 제안된 방법은 모델 파라미터 동역학의 폐쇄 루프를 형성하여 기존 다중 목적 심층 학습 방법의 과도한 메모리 요구 사항과 추가적인 계산 부담을 피하며, 다차원 정규화 손실을 사용하는 도메인 일반화 작업에서 제어기 하이퍼파라미터 변화에 대해 강건함을 보여줍니다.

시사점, 한계점

시사점:
다중 목적 심층 학습의 메모리 및 계산 비용 문제 해결에 대한 새로운 접근법 제시
시간에 따라 변하는 승수를 이용한 효율적인 다중 목적 최적화 전략 제안
파레토 우월성 기반 계층적 문제 분해를 통한 효과적인 다중 목적 하강 달성
하이퍼파라미터 변화에 강건한 제어 시스템 구축
다차원 정규화 손실을 사용하는 도메인 일반화 작업에서 성능 향상 확인
한계점:
제안된 모델의 일반화 성능에 대한 추가적인 실험 및 분석 필요
다양한 종류의 다중 목적 문제에 대한 적용 가능성 및 한계 확인 필요
제어기 하이퍼파라미터 튜닝에 대한 보다 효율적인 전략 필요
초부피 기반 가능도의 계산 복잡도 및 효율성에 대한 추가적인 연구 필요
👍