Arxiv hàng ngày

Đây là trang tổng hợp các bài báo về trí tuệ nhân tạo được xuất bản trên toàn thế giới.
Trang này sử dụng Google Gemini để tóm tắt nội dung và hoạt động phi lợi nhuận.
Bản quyền của các bài báo thuộc về tác giả và tổ chức liên quan; khi chia sẻ, chỉ cần ghi rõ nguồn.

FGBench: Bộ dữ liệu và chuẩn mực cho suy luận về tính chất phân tử ở cấp độ nhóm chức năng trong các mô hình ngôn ngữ lớn

작성자
  • Haebom

Tác giả

Xuân Lưu, Siru Ouyang, Xianrui Zhong, Jiawei Han, Huimin Zhao

Phác thảo

Bài báo này giới thiệu FGBench, một tập dữ liệu mới chứa 625.000 bài toán suy luận đặc trưng phân tử, nhằm mục đích cải thiện hiệu suất của các mô hình ngôn ngữ quy mô lớn (LLM) tận dụng thông tin nhóm chức năng (FG) trong hóa học. FGBench chú thích và định vị chính xác các nhóm chức năng trong phân tử, củng cố mối liên hệ giữa cấu trúc phân tử và mô tả văn bản, đồng thời tạo điều kiện phát triển các LLM dễ diễn giải và nhận biết cấu trúc hơn. Nó bao gồm các tác vụ hồi quy và phân loại cho 245 nhóm chức năng khác nhau thuộc ba loại (ảnh hưởng của nhóm chức năng đơn lẻ, tương tác nhóm chức năng đa chức năng và so sánh phân tử trực tiếp). Kết quả chuẩn từ các LLM tiên tiến cho thấy các LLM hiện tại gặp khó khăn trong suy luận đặc trưng ở cấp độ nhóm chức năng. Phương pháp luận FGBench được kỳ vọng sẽ đóng vai trò là nền tảng để tạo ra các cặp câu hỏi-trả lời mới với thông tin cấp độ nhóm chức năng, cho phép các LLM hiểu rõ hơn về mối quan hệ chi tiết giữa cấu trúc và tính chất phân tử. Tập dữ liệu và mã đánh giá được công khai trên GitHub.

Takeaways, Limitations

•
Takeaways:
◦
Chúng tôi xin giới thiệu FGBench, một tập dữ liệu mới có thể góp phần cải thiện khả năng suy luận hóa học của LLM bằng cách sử dụng thông tin chi tiết ở cấp độ nhóm chức năng.
◦
ĐóNg góp vào sự phát triển của các loại thuốc mới và những tiến bộ trong thiết kế phân tử bằng cách cải thiện sự hiểu biết về mối quan hệ giữa cấu trúc và tính chất phân tử.
◦
Cung cấp các nhiệm vụ hồi quy và phân loại cho nhiều nhóm chức năng khác nhau để giúp đánh giá và cải thiện hiệu suất của LLM.
◦
Phương pháp luận của FGBench cung cấp nền tảng để xây dựng các tập dữ liệu liên quan đến hóa chất khác.
•
Limitations:
◦
Các LLM hiện tại đang gặp khó khăn với các vấn đề suy luận cấp độ chức năng được trình bày trong FGBench, cho thấy cần phải cải thiện hiệu suất trong các LLM.
◦
Có thể cần nghiên cứu thêm về quy mô và tính đa dạng của tập dữ liệu.
◦
Có khả năng xảy ra sự thiên vị hoặc mất cân bằng dữ liệu đối với một số nhóm chức năng nhất định.
👍
Slashpage로 제작됨