Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Direction-Aware Diagonal Autoregressive Image Generation

Created by
  • Haebom
Category
Empty

저자

Yijia Xu, Jianzhong Ju, Jian Luan, Jinshi Cui

개요

본 논문은 라스터 순서 이미지 토큰 시퀀스의 라인 브레이크에서 인덱스가 인접한 토큰 간의 유클리드 거리가 크다는 문제점을 해결하기 위해, 대각선 스캐닝 순서를 따르는 이미지 토큰을 생성하는 방향 인식 대각선 자기 회귀 이미지 생성(DAR) 방법을 제안합니다. 대각선 스캐닝 순서는 인접한 인덱스를 가진 토큰들이 근접하게 유지되도록 하면서, 인과적 어텐션이 더 넓은 범위의 방향에서 정보를 수집할 수 있도록 합니다. 또한, 생성 방향의 빈번한 변화를 처리하는 모델의 능력을 향상시키기 위해 4D-RoPE와 방향 임베딩이라는 두 가지 방향 인식 모듈을 도입했습니다. 이미지 토크나이저의 표현 능력을 활용하기 위해 해당 코드북을 이미지 토큰 임베딩으로 사용합니다. 4억 8500만개에서 20억개에 이르는 다양한 규모의 모델을 제안하며, 256x256 ImageNet 벤치마크에서 DAR-XL(20억 매개변수)이 이전의 모든 자기 회귀 이미지 생성기를 능가하여 1.37의 최첨단 FID 점수를 달성했습니다.

시사점, 한계점

시사점:
라인 브레이크 문제를 해결하는 새로운 대각선 스캐닝 방식의 자기 회귀 이미지 생성 방법 제시
방향 인식 모듈(4D-RoPE, 방향 임베딩)을 통해 방향 변화에 대한 모델의 적응력 향상
ImageNet 벤치마크에서 SOTA FID 점수 달성 (1.37)
다양한 규모의 모델을 통해 성능과 효율성의 균형을 고려
한계점:
제시된 방법이 다른 이미지 데이터셋이나 해상도에서도 동일한 성능을 보이는지에 대한 추가적인 검증 필요
4D-RoPE와 방향 임베딩 모듈의 효과에 대한 심층적인 분석 필요
계산 비용 및 메모리 사용량에 대한 상세한 분석 필요
👍