Arxiv hàng ngày

Đây là trang tổng hợp các bài báo về trí tuệ nhân tạo được xuất bản trên toàn thế giới.
Trang này sử dụng Google Gemini để tóm tắt nội dung và hoạt động phi lợi nhuận.
Bản quyền của các bài báo thuộc về tác giả và tổ chức liên quan; khi chia sẻ, chỉ cần ghi rõ nguồn.

COLLAGE: Truy xuất dựa trên Fusion thích ứng cho việc học chính sách tăng cường

Created by
  • Haebom

Tác giả

Sateesh Kumar, Shivin Dass, Georgios Pavlakos, Roberto Mart in-Mart ở

Phác thảo

Bài báo này đề cập đến vấn đề truy xuất dữ liệu trong học mô phỏng ít lần. Các phương pháp hiện có sử dụng phương pháp heuristic khoảng cách một đặc trưng để truy xuất dữ liệu, giả định rằng minh họa tốt nhất là minh họa giống nhất với minh họa mục tiêu trong không gian thị giác, ngữ nghĩa hoặc hành động. Tuy nhiên, cách tiếp cận này chỉ nắm bắt được một phần thông tin liên quan và có thể đưa ra các minh họa có hại, chẳng hạn như truy xuất dữ liệu từ các tác vụ không liên quan do bố cục cảnh tương tự hoặc chọn các hành động tương tự trong các tác vụ có mục tiêu khác nhau. Trong bài báo này, chúng tôi trình bày một phương pháp được gọi là Tổng hợp Dữ liệu Tập thể (COLLAGE) cho học mô phỏng ít lần, sử dụng cơ chế hợp nhất muộn thích ứng để hướng dẫn lựa chọn các minh họa có liên quan dựa trên sự kết hợp cụ thể của nhiều tín hiệu cho từng tác vụ. COLLAGE sử dụng một đặc trưng duy nhất (ví dụ: độ tương đồng về ngoại hình, hình dạng hoặc ngôn ngữ) để đánh giá trọng số các tập con được chọn trước của tập dữ liệu, gán trọng số dựa trên mức độ chính sách được huấn luyện trên mỗi tập con dự đoán tác vụ trong minh họa mục tiêu tốt như thế nào. Các trọng số này sau đó được sử dụng trong quá trình huấn luyện chính sách để thực hiện lấy mẫu quan trọng, lấy mẫu dữ liệu dày đặc hơn hoặc thưa thớt hơn dựa trên mức độ liên quan ước tính. COLLAGE là giải pháp tổng quát và không phụ thuộc vào tính năng, cho phép kết hợp bất kỳ số lượng tập con nào được chọn bởi bất kỳ thuật toán tìm kiếm nào và xác định tập con nào mang lại lợi ích lớn nhất cho tác vụ mục tiêu. Trong các thử nghiệm mở rộng, COLLAGE vượt trội hơn 5,1% so với các phương pháp tìm kiếm và học đa tác vụ tiên tiến nhất trên mười tác vụ mô phỏng và 16,6% trên sáu tác vụ tìm kiếm thực tế trên tập dữ liệu DROID quy mô lớn.

Takeaways, Limitations

Takeaways:
Chúng tôi cải thiện hiệu suất truy xuất dữ liệu trong quá trình học mô phỏng từng phần nhỏ thông qua cơ chế hợp nhất sau thích ứng tận dụng nhiều tính năng.
Chúng tôi khắc phục những hạn chế của các phương pháp dựa trên tính năng đơn lẻ hiện có và giải quyết vấn đề lựa chọn dữ liệu không liên quan.
Nó làm tăng khả năng áp dụng cho nhiều tập dữ liệu và nhiệm vụ theo cách tổng quát và không phụ thuộc vào tính năng.
Chúng tôi chứng minh hiệu suất được cải thiện so với các phương pháp hiện có trong cả môi trường mô phỏng và thực tế.
Limitations:
Độ Phức tạp của cơ chế hợp nhất thích ứng muộn có thể làm tăng chi phí tính toán.
Việc lựa chọn một tính năng duy nhất có thể ảnh hưởng đến hiệu suất. Việc tìm ra sự kết hợp tối ưu giữa các tính năng vẫn là một thách thức.
Có thể cần nghiên cứu thêm về hiệu quả của nó trên các tập dữ liệu lớn.
👍