Arxiv hàng ngày

Đây là trang tổng hợp các bài báo về trí tuệ nhân tạo được xuất bản trên toàn thế giới.
Trang này sử dụng Google Gemini để tóm tắt nội dung và hoạt động phi lợi nhuận.
Bản quyền của các bài báo thuộc về tác giả và tổ chức liên quan; khi chia sẻ, chỉ cần ghi rõ nguồn.

SLTNet: Phân đoạn ngữ nghĩa dựa trên sự kiện hiệu quả với mạng lưới biến áp nhẹ điều khiển bởi Spike

Created by
  • Haebom

Tác giả

Xianlei Long, Xiaxin Zhu, Fangming Guo, Wanyi Zhang, Qingyi Gu, Chao Chen, Fuqiang Gu

Phác thảo

Bài báo này nêu bật tiềm năng của phân đoạn ngữ nghĩa dựa trên sự kiện trong lái xe tự động và robot, tận dụng lợi thế của camera dựa trên sự kiện (dải động cao, độ trễ thấp và mức tiêu thụ điện năng thấp). Các phương pháp phân đoạn dựa trên ANN hiện có gặp phải các yêu cầu tính toán cao, yêu cầu khung hình ảnh và mức tiêu thụ năng lượng cao, hạn chế hiệu quả và khả năng ứng dụng của chúng trên các nền tảng di động/biên giới hạn chế tài nguyên. Để giải quyết những vấn đề này, chúng tôi trình bày SLTNet, một mạng Transformer dựa trên spike nhẹ được thiết kế cho phân đoạn ngữ nghĩa dựa trên sự kiện. SLTNet trích xuất các đặc điểm ngữ nghĩa phong phú đồng thời giảm các tham số mô hình dựa trên các khối tích chập (SCB) dựa trên spike hiệu quả và tăng cường các tương tác đặc điểm ngữ cảnh tầm xa thông qua các khối Transformer dựa trên spike (STB) và các phép toán mặt nạ nhị phân. Các thí nghiệm mở rộng trên các tập dữ liệu DDD17 và DSEC-Semantic chứng minh rằng SLTNet đạt được cải tiến mIoU lên tới 9,06% và 9,39% so với các phương pháp dựa trên SNN hiện đại, đồng thời tiêu thụ ít năng lượng hơn 4,58 lần và đạt tốc độ suy luận là 114 FPS. Mã nguồn được công khai.

Takeaways, Limitations

Takeaways:
Trình bày một phương pháp phân đoạn ngữ nghĩa hiệu quả sử dụng camera dựa trên sự kiện.
Cải thiện hiệu quả năng lượng và tốc độ suy luận với mạng dựa trên xung đột nhẹ (SLTNet).
Cải thiện hiệu suất so với các phương pháp dựa trên SNN hiện đại (cải thiện tới 9,06% và 9,39% về mIoU)
Đề Xuất khả năng mở rộng nghiên cứu thông qua việc công bố mã nguồn mở
Limitations:
Cần phải xác nhận thêm hiệu suất tổng quát của phương pháp đề xuất.
Cần có thêm kết quả thử nghiệm cho nhiều bộ dữ liệu và cảm biến camera sự kiện khác nhau.
Nhu cầu ứng dụng và đánh giá hiệu suất cho các hệ thống lái xe tự động và robot thực tế
👍