Bài báo này phân tích về mặt lý thuyết hiệu suất năng lượng của các bộ tối ưu hóa nơ-ron hoặc mô hình nơ-ron. Các bộ tối ưu hóa nơ-ron sử dụng các mô hình tính toán trong bộ nhớ (CIM) và học trong bộ nhớ (LIM) để giảm mức tiêu thụ năng lượng liên quan đến việc truy cập và cập nhật bộ nhớ. Chúng tôi đưa ra các ước tính lý thuyết về số liệu năng lượng-giải pháp cho một bộ tối ưu hóa nơ-ron lý tưởng, điều chỉnh rào cản năng lượng của bộ nhớ vật lý sao cho động lực học cập nhật và củng cố bộ nhớ phù hợp với động lực học tối ưu hóa hoặc ủ. Phân tích này nắm bắt được nhiệt động lực học không cân bằng của quá trình học, và các ước tính hiệu suất năng lượng không phụ thuộc vào mô hình, chỉ phụ thuộc vào các hoạt động cập nhật mô hình (OPS), số lượng tham số, tốc độ hội tụ và độ chính xác của giải pháp. Cuối cùng, chúng tôi áp dụng phân tích của mình để ước tính các giới hạn dưới của số liệu năng lượng-giải pháp cho các tác vụ AI quy mô lớn.
