[공지사항]을 빙자한 안부와 근황 
Show more

Arxiv hàng ngày

Đây là trang tổng hợp các bài báo về trí tuệ nhân tạo được xuất bản trên toàn thế giới.
Trang này sử dụng Google Gemini để tóm tắt nội dung và hoạt động phi lợi nhuận.
Bản quyền của các bài báo thuộc về tác giả và tổ chức liên quan; khi chia sẻ, chỉ cần ghi rõ nguồn.

Tinh chỉnh SLM hay nhắc nhở LLM? Trường hợp tạo quy trình làm việc mã thấp

Created by
  • Haebom

Tác giả

Orlando Marquez Ayala, Patrice Bechard, Emily Chen, Maggie Baird, Jingfei Chen

Phác thảo

Trong bài báo này, chúng tôi trình bày bằng chứng cho thấy SLM vẫn có lợi thế về chất lượng đối với một số tác vụ miền yêu cầu đầu ra có cấu trúc, bất chấp sự xuất hiện của các mô hình ngôn ngữ quy mô lớn (LLM) như GPT-4 khiến lợi ích (suy luận nhanh hơn, chi phí thấp hơn) của việc tinh chỉnh các mô hình ngôn ngữ quy mô nhỏ (SLM) cho các ứng dụng thực tế trở nên kém rõ ràng hơn. Bằng cách so sánh tinh chỉnh SLM với nhắc nhở LLM trên một tác vụ tạo quy trình làm việc JSON mã thấp, chúng tôi nhận thấy rằng nhắc nhở tốt có thể mang lại kết quả hợp lý, nhưng tinh chỉnh chỉ cải thiện chất lượng trung bình 10%. Ngoài ra, chúng tôi cũng chỉ ra những hạn chế của mô hình thông qua phân tích lỗi hệ thống.

Takeaways, Limitations

Takeaways: Chúng tôi chứng minh bằng thực nghiệm rằng tinh chỉnh SLM mang lại kết quả chất lượng cao hơn so với nhắc nhở LLM cho các tác vụ miền cụ thể yêu cầu đầu ra có cấu trúc. Mặc dù chi phí mã thông báo thấp hơn, chúng tôi xác nhận giá trị thực tế của tinh chỉnh SLM.
Limitations: Nghiên cứu này chỉ giới hạn ở một miền cụ thể (tạo quy trình làm việc mã nguồn thấp) và một tác vụ cụ thể (đầu ra định dạng JSON). Khả năng khái quát hóa cho các miền hoặc tác vụ khác cần được nghiên cứu thêm. Phân tích lỗi hệ thống đã chỉ ra những hạn chế của mô hình, nhưng không đề xuất các biện pháp cụ thể để khắc phục những hạn chế này.
👍