Arxiv hàng ngày

Đây là trang tổng hợp các bài báo về trí tuệ nhân tạo được xuất bản trên toàn thế giới.
Trang này sử dụng Google Gemini để tóm tắt nội dung và hoạt động phi lợi nhuận.
Bản quyền của các bài báo thuộc về tác giả và tổ chức liên quan; khi chia sẻ, chỉ cần ghi rõ nguồn.

Hướng dẫn mô hình khuếch tán sử dụng cửa sổ trượt

Created by
  • Haebom

Tác giả

Nikolas Adaloglou, Tim Kaiser, Damir Iagudin, Markus Kollmann

Phác thảo

Bài báo này trình bày một kỹ thuật hướng dẫn để cải thiện chất lượng mẫu trong các mô hình khuếch tán. Sử dụng các ví dụ hai chiều, chúng tôi chứng minh rằng hướng dẫn rất có lợi khi lỗi tổng quát của mô hình phụ trợ tương tự nhưng mạnh hơn lỗi của mô hình chính. Dựa trên hiểu biết này, chúng tôi đề xuất Hướng dẫn Cửa sổ Trượt Có Mặt nạ (M-SWG), một phương pháp mới, không cần đào tạo. M-SWG hạn chế có chọn lọc trường tiếp nhận để hướng dẫn chính mô hình chính, do đó tăng cường sự phụ thuộc không gian tầm xa. Nó loại bỏ nhu cầu về trọng số mô hình, đào tạo bổ sung hoặc điều kiện lớp trong các lần lặp trước. Nó đạt được Điểm khởi đầu (IS) vượt trội so với các phương pháp không cần đào tạo hiện đại và không gây ra tình trạng quá bão hòa mẫu. Kết hợp với các phương pháp hướng dẫn hiện có, nó đạt được khoảng cách Frechet DINOv2 hiện đại trên ImageNet bằng EDM2-XXL và DiT-XL. Mã có sẵn tại https://github.com/HHU-MMBS/swg_bmvc2025_official .

Takeaways, Limitations

Takeaways:
Đề Xuất về M-SWG, một kỹ thuật hướng dẫn mới không cần đào tạo.
ĐạT được Điểm khởi đầu cao hơn so với các phương pháp đào tạo hiện đại không cần đào tạo.
Hiệu suất được cải thiện mà không bị bão hòa mẫu.
ĐạT được khoảng cách Frechet DINOv2 tiên tiến nhất trên ImageNet bằng cách kết hợp với các phương pháp hướng dẫn hiện có.
Đề Xuất rằng đặc điểm lỗi tổng quát của mô hình phụ trợ rất quan trọng đối với hiệu suất hướng dẫn.
Limitations:
Mặc dù cơ sở lý thuyết được trình bày bằng ví dụ hai chiều, vẫn cần nghiên cứu thêm để xác định khả năng khái quát hóa cho các tập dữ liệu có nhiều chiều.
Có khả năng cải thiện hiệu suất của M-SWG có thể chỉ giới hạn ở một số mô hình và tập dữ liệu cụ thể.
Cần có sự xác thực thử nghiệm rộng rãi trên nhiều mô hình khuếch tán và tập dữ liệu khác nhau.
👍