Arxiv hàng ngày

Đây là trang tổng hợp các bài báo về trí tuệ nhân tạo được xuất bản trên toàn thế giới.
Trang này sử dụng Google Gemini để tóm tắt nội dung và hoạt động phi lợi nhuận.
Bản quyền của các bài báo thuộc về tác giả và tổ chức liên quan; khi chia sẻ, chỉ cần ghi rõ nguồn.

Att-Adapter: Bộ điều hợp khuếch tán T2I đa thuộc tính, mạnh mẽ và chính xác theo từng miền thông qua bộ mã hóa tự động biến thiên có điều kiện

Created by
  • Haebom

Tác giả

Wonwoong Cho, Yan-Ying Chen, Matthew Klenk, David I. Inouye, Yanxia Zhang

Phác thảo

Trong bài báo này, chúng tôi đề xuất một mô-đun cắm và chạy mới, Att-Adapter, để giải quyết vấn đề kiểm soát đồng thời và chính xác nhiều thuộc tính trong một mô hình khuếch tán được đào tạo trước. Att-Adapter học một bộ điều hợp điều khiển duy nhất từ một tập hợp các hình ảnh mẫu chứa nhiều thuộc tính thị giác không ghép nối. Nó sử dụng một mô-đun chú ý chéo tách rời để hài hòa tự nhiên nhiều thuộc tính miền với các điều kiện văn bản và sử dụng bộ mã hóa tự động biến thiên có điều kiện (CVAE) để giảm thiểu hiện tượng quá khớp và thích ứng với các đặc điểm đa dạng của thế giới thị giác. Kết quả đánh giá trên hai tập dữ liệu công khai cho thấy Att-Adapter vượt trội hơn tất cả các mô hình cơ sở dựa trên LoRA trong điều khiển thuộc tính liên tục, thể hiện phạm vi điều khiển rộng hơn và cải thiện khả năng tách biệt giữa các thuộc tính. Ngoài ra, nó có ưu điểm là không yêu cầu dữ liệu tổng hợp ghép nối để đào tạo và có thể dễ dàng mở rộng sang nhiều thuộc tính.

Takeaways, Limitations

Takeaways:
Chúng tôi trình bày một phương pháp mới để kiểm soát chính xác các thuộc tính liên tục trong các mô hình khuếch tán được đào tạo trước.
Khả năng đào tạo bằng cách sử dụng dữ liệu chưa ghép nối, cải thiện hiệu quả dữ liệu.
Vượt trội hơn các phương pháp dựa trên LoRA và phương pháp dựa trên StyleGAN.
Có thể dễ dàng mở rộng sang nhiều thuộc tính trong một mô hình duy nhất.
Phạm vi kiểm soát rộng và cải thiện khả năng phân tách giữa các thuộc tính.
Limitations:
Limitations cụ thể không được đề cập rõ ràng trong bài báo. Nó có thể được tiết lộ thông qua các thí nghiệm hoặc phân tích tiếp theo.
Hiệu suất tổng quát cho các miền hoặc thuộc tính cụ thể cần được nghiên cứu thêm.
Sử dụng CVAE không phải lúc nào cũng hiệu quả.
👍