Chia sẻ GPU được thực thi bộ nhớ trong Kubernetes với NVIDIA CUDA 13.4
Theo công bố của NVIDIA Developer. NVIDIA công bố CUDA 13.4 và toán tử mã nguồn mở GPU Fractioning Operator giúp thực thi giới hạn bộ nhớ cho từng khối lượng công việc trên Kubernetes.
- • CUDA 13.4 mang lại khả năng thực thi ranh giới bộ nhớ minh bạch cho ứng dụng.
- • GPU Fractioning Operator là toán tử Kubernetes mã nguồn mở mới giúp quản lý MPS.
- • KAI Scheduler v0.18.0 tích hợp chế độ NvFractions để hỗ trợ phân bổ phân đoạn GPU.
Giới thiệu CUDA 13.4 và Quản lý Bộ nhớ
NVIDIA CUDA 13.4 giới thiệu khả năng thực thi ranh giới bộ nhớ minh bạch đối với các ứng dụng, cung cấp lượng bộ nhớ chính xác, mức tối thiểu được đảm bảo cùng giới hạn tối đa có thể bùng nổ, và lựa chọn giữa chế độ tính toán chia sẻ thời gian hoặc chia sẻ sm.
Toán tử Phân đoạn GPU Mã nguồn mở
GPU Fractioning Operator mới được lưu trữ dưới tổ chức KAI Scheduler trên GitHub. Nó hoạt động cùng với NVIDIA GPU Operator để thiết lập và giám sát MPS trên mọi nút GPU, đồng thời áp dụng các giới hạn bộ nhớ và chế độ tính toán cho từng khối lượng công việc.
Tích hợp KAI Scheduler v0.18.0
KAI Scheduler tích hợp với GPU Fractioning thông qua chế độ chia sẻ GPU NvFractions, cho phép viết các chú thích Pod cho từng vùng chứa để chỉ định yêu cầu bộ nhớ, giới hạn, chế độ tính toán và các phân bổ thiết bị GPU.
- 1. developer.nvidia.comMở nguồn