Arxiv hàng ngày

Đây là trang tổng hợp các bài báo về trí tuệ nhân tạo được xuất bản trên toàn thế giới.
Trang này sử dụng Google Gemini để tóm tắt nội dung và hoạt động phi lợi nhuận.
Bản quyền của các bài báo thuộc về tác giả và tổ chức liên quan; khi chia sẻ, chỉ cần ghi rõ nguồn.

Tìm kiếm kiến trúc thần kinh Zero-Shot với tương quan phản hồi có trọng số

Created by
  • Haebom

Tác giả

Kun Jing, Luoyu Chen, Jungang Xu, Jianwei Tai, Yiyu Wang, Shuaimin Li

Phác thảo

Bài báo này trình bày một phương pháp tìm kiếm kiến trúc nơ-ron (NAS) zero-shot mới cho thiết kế kiến trúc mạng nơ-ron tự động. Để khắc phục những hạn chế của các phương pháp NAS zero-shot hiện có về hiệu quả, tính ổn định và tính tổng quát, chúng tôi đề xuất một proxy không cần đào tạo mới có tên là Weighted Response Correlation (WRCor). WRCor sử dụng ma trận hệ số tương quan của các phản hồi đối với các mẫu đầu vào khác nhau để tính điểm proxy cho cấu trúc ước tính, từ đó đo lường tính biểu đạt và hiệu suất tổng quát của nó. Kết quả thực nghiệm chứng minh rằng WRCor và proxy dựa trên biểu quyết là các chiến lược ước tính hiệu quả hơn các proxy hiện có và khi kết hợp với các chiến lược tìm kiếm khác nhau, chúng vượt trội hơn các thuật toán NAS hiện có. Trên tập dữ liệu ImageNet-1k, chúng tôi đã phát hiện ra một cấu trúc đạt tỷ lệ lỗi kiểm tra là 22,1% trong vòng 4 giờ GPU. Mã nguồn được công khai.

Takeaways, Limitations

Takeaways:
Một proxy mới (WRCor) được đề xuất để khắc phục những hạn chế của các phương pháp NAS zero-shot hiện có.
Thuật toán NAS Zero-shot sử dụng WRCor vượt trội hơn các thuật toán NAS hiện có.
Khám phá cấu trúc hiệu suất cao trong thời gian ngắn trên ImageNet-1k bằng cách sử dụng phương pháp khám phá hiệu quả.
ĐảM bảo khả năng tái tạo và khả năng mở rộng thông qua việc tiết lộ mã nguồn
Limitations:
Cần phải xác nhận thêm hiệu suất tổng quát của proxy WRCor.
Cần có thêm các thí nghiệm trên nhiều tập dữ liệu và nhiệm vụ khác nhau.
Cần đánh giá sự phụ thuộc vào các chiến lược tìm kiếm cụ thể
👍