Arxiv hàng ngày

Đây là trang tổng hợp các bài báo về trí tuệ nhân tạo được xuất bản trên toàn thế giới.
Trang này sử dụng Google Gemini để tóm tắt nội dung và hoạt động phi lợi nhuận.
Bản quyền của các bài báo thuộc về tác giả và tổ chức liên quan; khi chia sẻ, chỉ cần ghi rõ nguồn.

TransLight: Điều khiển ánh sáng tùy chỉnh theo hướng dẫn hình ảnh với công nghệ tách ghép tạo sinh

Created by
  • Haebom

Tác giả

Lý Tông Minh, Lương Hội Chu, Hạo Thành Thẩm, Long Tiến Nhiên, Ôn Ngọc Lưu, Xinggang Wang

Phác thảo

Các phương pháp chỉnh sửa ánh sáng hiện có không thể đồng thời cung cấp khả năng điều khiển hiệu ứng ánh sáng tùy chỉnh và duy trì tính toàn vẹn của nội dung. Trong bài báo này, chúng tôi đề xuất TransLight, một khuôn khổ mới cho phép truyền hiệu ứng ánh sáng với độ trung thực cao và độ tự do cao. Điều quan trọng là trích xuất hiệu ứng ánh sáng từ ảnh tham chiếu, một thách thức trong các tình huống thực tế do các đặc điểm hình học phức tạp được kết hợp chặt chẽ với nội dung. Để đạt được điều này, chúng tôi trình bày một phương pháp tách ghép tạo sinh giúp tách biệt chính xác nội dung ảnh và hiệu ứng ánh sáng. Sử dụng hai mô hình khuếch tán được tinh chỉnh, chúng tôi tạo ra một bộ ba ảnh-nội dung-ánh sáng mới với quy mô hàng triệu. Sau đó, chúng tôi huấn luyện mô hình bằng cách sử dụng IC-Light làm mô hình tạo sinh, đưa bộ ba này vào ảnh chiếu sáng tham chiếu như một tín hiệu điều kiện bổ sung. TransLight cho phép tùy chỉnh và truyền tải tự nhiên các hiệu ứng ánh sáng khác nhau. Bằng cách tách biệt hoàn toàn các hiệu ứng ánh sáng khỏi ảnh tham chiếu, nó mang lại khả năng điều khiển ánh sáng cực kỳ linh hoạt. Kết quả thử nghiệm chứng minh rằng TransLight là phương pháp đầu tiên truyền tải hiệu ứng ánh sáng thành công giữa các ảnh khác nhau, mang lại khả năng điều khiển ánh sáng tùy chỉnh hơn so với các kỹ thuật hiện có và mở ra những hướng mới cho nghiên cứu hài hòa và chỉnh sửa ánh sáng.

Takeaways, Limitations

Takeaways:
Chúng tôi trình bày một kỹ thuật phân tách tạo ra có khả năng phân tách nội dung hình ảnh và hiệu ứng ánh sáng chất lượng cao.
Phát triển khung TransLight cho phép chuyển đổi tự nhiên và tùy chỉnh nhiều hiệu ứng ánh sáng khác nhau.
Một hướng nghiên cứu mới về điều khiển ánh sáng và phối hợp/chỉnh sửa ánh sáng vượt trội hơn các phương pháp hiện có.
Tạo bộ dữ liệu bộ ba hình ảnh-nội dung-ánh sáng có quy mô hàng triệu.
Limitations:
Thiếu mô tả chi tiết về thành phần cụ thể và chất lượng của tập dữ liệu quy mô hàng triệu được trình bày.
Cần phải xác nhận thêm hiệu suất tổng quát trong nhiều môi trường chiếu sáng thực tế khác nhau.
Thiếu phân tích về chi phí tính toán và tốc độ xử lý.
Có thể có sự thiên vị đối với một số loại hiệu ứng ánh sáng nhất định.
👍