[공지사항]을 빙자한 안부와 근황 
Show more

Arxiv hàng ngày

Đây là trang tổng hợp các bài báo về trí tuệ nhân tạo được xuất bản trên toàn thế giới.
Trang này sử dụng Google Gemini để tóm tắt nội dung và hoạt động phi lợi nhuận.
Bản quyền của các bài báo thuộc về tác giả và tổ chức liên quan; khi chia sẻ, chỉ cần ghi rõ nguồn.

SIDDA: Thích ứng miền động SInkhorn để phân loại hình ảnh với mạng nơ-ron tương đương

Created by
  • Haebom

Tác giả

Sneh Pandya, Purvik Patel, Brian D. Nord, Mike Walmsley, Aleksandra Ciprijanovi c

Phác thảo

Trong bài báo này, chúng tôi đề xuất một thuật toán thích ứng miền (DA) mới, SIDDA, dựa trên phân kỳ Sinkhorn để giải quyết vấn đề dịch chuyển hiệp biến, tức là sự suy giảm hiệu suất tổng quát hóa của mạng nơ-ron khi phân phối của dữ liệu huấn luyện và kiểm tra khác nhau nhưng phân phối có điều kiện lại giống nhau. SIDDA đạt được sự liên kết miền hiệu quả với việc điều chỉnh siêu tham số và chi phí tính toán tối thiểu. Chúng tôi chứng minh hiệu quả của SIDDA trên các tập dữ liệu mô phỏng và thực tế (ví dụ: hình dạng đơn giản, chữ số viết tay và dữ liệu quan sát thiên văn) với nhiều độ phức tạp khác nhau và cho thấy rằng nó có hiệu quả trong việc cải thiện độ chính xác phân loại và hiệu chuẩn mô hình, đặc biệt là khi được sử dụng với Mạng nơ-ron tương đương (ENN). SIDDA đạt được cải thiện lên đến khoảng 40% về độ chính xác phân loại và cải thiện đáng kể hiệu chuẩn mô hình (cải thiện hơn 10 lần về điểm ECE và Brier). Nó tương thích với nhiều kiến trúc mạng nơ-ron khác nhau và cho phép phát triển các mô hình có thể tổng quát hóa trong các nghiên cứu đa tập dữ liệu. Ngoài ra, chúng tôi nghiên cứu tác động của sự thích nghi miền trong ENN với nhóm dihedral $D_N$ ở nhiều bậc khác nhau và thấy rằng hiệu suất mô hình được cải thiện khi bậc đồng cấu tăng lên.

Takeaways, Limitations

Takeaways:
Chúng tôi trình bày thuật toán SIDDA, cho phép điều chỉnh miền hiệu quả với điều chỉnh siêu tham số tối thiểu.
Cải thiện hiệu suất tổng quát của mạng nơ-ron trên nhiều tập dữ liệu khác nhau, đặc biệt khi kết hợp với mạng nơ-ron đều.
Cải thiện đáng kể độ chính xác phân loại và hiệu chuẩn mô hình (ECE, điểm Brier).
ĐóNg góp vào việc phát triển các mô hình tổng quát cho các nghiên cứu đa tập dữ liệu.
Chúng tôi nhận thấy rằng mức độ đồng cấu của mạng nơ-ron biến thiên càng cao thì hiệu ứng thích ứng miền càng lớn.
Limitations:
Trong bài báo này, chúng tôi đã xác thực hiệu suất của thuật toán SIDDA trên nhiều tập dữ liệu khác nhau, nhưng có thể cần phải thực hiện thêm các thử nghiệm trên nhiều tập dữ liệu và tác vụ hơn.
Thiếu phân tích so sánh định lượng về mức độ hiệu quả tính toán của thuật toán SIDDA so với các phương pháp DA khác.
Cần phải phân tích so sánh với các kỹ thuật căn chỉnh miền khác ngoài kỹ thuật phân kỳ Sinkhorn.
👍