Arxiv hàng ngày

Đây là trang tổng hợp các bài báo về trí tuệ nhân tạo được xuất bản trên toàn thế giới.
Trang này sử dụng Google Gemini để tóm tắt nội dung và hoạt động phi lợi nhuận.
Bản quyền của các bài báo thuộc về tác giả và tổ chức liên quan; khi chia sẻ, chỉ cần ghi rõ nguồn.

Mô hình CNN-Transformer tích chập hoàn toàn lai ghép để phát hiện bệnh có thể diễn giải được từ hình ảnh đáy mắt

Created by
  • Haebom

Tác giả

Kerol Djoumessi, Samuel Ofosu Mensah, Philipp Berens

Phác thảo

Bài báo này đề xuất một mô hình lai có thể diễn giải được cho phân tích hình ảnh y tế, kết hợp khả năng trích xuất đặc trưng cục bộ của CNN với khả năng nắm bắt phụ thuộc toàn cục của ViT. Để khắc phục những thách thức về khả năng diễn giải của các mô hình lai hiện có, chúng tôi đã phát triển một kiến ​​trúc CNN-Transformer tích chập hoàn toàn, xem xét khả năng diễn giải ngay từ giai đoạn thiết kế và áp dụng vào việc phát hiện bệnh võng mạc. Mô hình được đề xuất vượt trội hơn các mô hình hộp đen và mô hình diễn giải được hiện có về hiệu suất dự đoán và tạo ra các bản đồ bằng chứng thưa thớt theo lớp chỉ trong một lần chạy. Mã nguồn có sẵn trên GitHub.

Takeaways, Limitations

Takeaways:
Chúng tôi trình bày một cách triển khai hiệu quả mô hình CNN-Transformer lai có thể diễn giải được để phân tích hình ảnh y tế.
ĐạT được hiệu suất dự đoán và khả năng diễn giải vượt trội so với các mô hình hộp đen hiện có.
Bộc lộ rõ ​​ràng quá trình ra quyết định của mô hình bằng cách tạo ra các bản đồ bằng chứng thưa thớt theo từng lớp chỉ trong một lần chạy.
ĐảM bảo khả năng tái tạo và mở rộng thông qua mã mở.
Limitations:
Hiệu suất của mô hình đề xuất bị giới hạn ở nhiệm vụ phân tích hình ảnh y tế cụ thể (phát hiện bệnh võng mạc).
Hiệu suất khái quát hóa cho các loại hình ảnh y tế hoặc bệnh lý khác cần được nghiên cứu thêm.
ĐáNh giá định lượng về độ chính xác của việc giải thích bản đồ bằng chứng có thể còn thiếu.
👍