Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Adaptive Cyclic Diffusion for Inference Scaling

Created by
  • Haebom

저자

Gyubin Lee, Truong Nhat Nguyen Bao, Jaesik Yoon, Dongwoo Lee, Minsu Kim, Yoshua Bengio, Sungjin Ahn

개요

확산 모델은 이미지 합성부터 복잡한 추론 작업까지 다양한 영역에서 강력한 생성 능력을 보여주었습니다. 그러나 대부분의 추론 시간 확장 방법은 고정된 잡음 제거 일정에 의존하여 인스턴스의 어려움이나 작업별 요구 사항에 따라 계산을 적응적으로 할당하는 능력이 제한적입니다. 본 논문에서는 적응형 추론 시간 확장(추론 중 계산 노력을 동적으로 조정)이라는 과제를 제시하고, 유연한 검색 기반 추론 프레임워크인 적응형 양방향 순환 확산(ABCD)을 제안합니다. ABCD는 양방향 확산 주기를 통해 출력을 개선하는 동시에 탐색 깊이와 종료를 적응적으로 제어합니다. 이는 순환 확산 검색, 자동 탐색-활용 균형, 적응형 사고 시간의 세 가지 구성 요소로 구성됩니다. 실험 결과, ABCD는 다양한 작업에서 성능을 향상시키는 동시에 계산 효율성을 유지하는 것으로 나타났습니다.

시사점, 한계점

시사점:
적응형 추론 시간 확장을 위한 새로운 프레임워크인 ABCD 제시.
인스턴스 어려움이나 작업별 요구에 따라 계산량을 동적으로 조절 가능.
양방향 확산 주기와 적응형 탐색 깊이 및 종료 제어를 통해 성능 향상.
다양한 작업에서 계산 효율성 유지하면서 성능 향상 확인.
한계점:
ABCD의 일반화 성능에 대한 추가적인 연구 필요.
다양한 확산 모델과의 호환성 및 적용 가능성에 대한 추가적인 검증 필요.
복잡한 작업에 대한 적용 시 발생할 수 있는 계산 비용 증가에 대한 고려 필요.
제안된 방법의 최적 파라미터 설정에 대한 추가적인 연구 필요.
👍