Arxiv hàng ngày

Đây là trang tổng hợp các bài báo về trí tuệ nhân tạo được xuất bản trên toàn thế giới.
Trang này sử dụng Google Gemini để tóm tắt nội dung và hoạt động phi lợi nhuận.
Bản quyền của các bài báo thuộc về tác giả và tổ chức liên quan; khi chia sẻ, chỉ cần ghi rõ nguồn.

Att-Adapter: Bộ điều hợp khuếch tán T2I đa thuộc tính, mạnh mẽ và chính xác theo từng miền thông qua bộ mã hóa tự động biến thiên có điều kiện

Created by
  • Haebom

Tác giả

Wonwoong Cho, Yan-Ying Chen, Matthew Klenk, David I. Inouye, Yanxia Zhang

Phác thảo

Trong bài báo này, chúng tôi đề xuất Bộ điều hợp Thuộc tính (Att), một phương pháp mới để điều khiển chính xác nhiều thuộc tính liên tục (ví dụ: độ mở mắt, chiều rộng xe) đồng thời trong một mô hình khuếch tán văn bản sang hình ảnh được huấn luyện trước. Att-Adapter học một bộ điều hợp điều khiển duy nhất từ một tập hợp các hình ảnh mẫu không ghép nối và sử dụng một mô-đun chú ý chéo tách rời để hài hòa nhiều thuộc tính miền và điều kiện văn bản. Để giảm thiểu hiện tượng quá khớp, chúng tôi cũng giới thiệu một Bộ mã hóa Tự động Biến thiên Có điều kiện (CVAE) để phản ánh các đặc điểm khác nhau của thế giới thị giác. Kết quả thử nghiệm cho thấy Att-Adapter vượt trội hơn các phương pháp dựa trên LoRA hiện có, thể hiện phạm vi điều khiển rộng hơn và hiệu suất tách thuộc tính được cải thiện. Ngoài ra, nó có thể được huấn luyện mà không cần dữ liệu tổng hợp ghép nối và có khả năng mở rộng tuyệt vời cho nhiều thuộc tính.

Takeaways, Limitations

Takeaways:
Chúng tôi trình bày một phương pháp mới để kiểm soát chính xác các thuộc tính đa dạng liên tục trong các mô hình khuếch tán được đào tạo trước.
Có thể đào tạo bằng cách sử dụng dữ liệu không ghép nối và có khả năng mở rộng cao.
Phương pháp này cho thấy hiệu suất tốt hơn so với các phương pháp dựa trên LoRA và StyleGAN.
Cung cấp phạm vi kiểm soát rộng và cải thiện hiệu suất phân tách thuộc tính.
Limitations:
__T94538_____ được trình bày không được đề cập rõ ràng trong bài báo. Nó cần được làm rõ thông qua các thí nghiệm hoặc phân tích bổ sung. Ví dụ, hiệu suất tổng quát hóa cho các loại thuộc tính hoặc tập dữ liệu cụ thể, chi phí tính toán, v.v. có thể là những lĩnh vực cần được nghiên cứu thêm.
👍