Chạy mô hình AI cho ứng dụng biên với NVIDIA TensorRT Edge-LLM
Theo công bố của NVIDIA Developer. NVIDIA giới thiệu các công cụ dành cho nhà phát triển nhằm chạy mô hình AI và thử nghiệm trên thiết bị nhúng bằng NVIDIA DGX Spark 64GB.
- • NVIDIA TensorRT Edge-LLM cung cấp runtime suy luận C++ nhẹ cho khối lượng công việc nhúng.
- • Giao diện dòng lệnh trtedge cho phép tải mô hình và xây dựng các engine TensorRT được tối ưu hóa.
- • DSpark giúp tăng tốc độ tạo mã thông báo trên các prompt HumanEval.
Tổng quan về TensorRT Edge-LLM
NVIDIA TensorRT Edge-LLM cung cấp một runtime suy luận C++ nhẹ được thiết kế cho các khối lượng công việc nhúng, mang lại cùng một framework suy luận cho việc phát triển trên DGX Spark và triển khai trên các nền tảng như NVIDIA Jetson Thor, NVIDIA DRIVE AGX Thor và NVIDIA IGX Thor.
Thiết lập môi trường và công cụ dòng lệnh
Bạn có thể bắt đầu chỉ với vài lệnh bằng giao diện dòng lệnh trtedge. Công cụ này tải xuống mô hình bạn chọn và xây dựng các engine TensorRT được tối ưu hóa để suy luận trên DGX Spark, đồng thời hỗ trợ phục vụ mô hình thông qua API tương thích với OpenAI để tạo mẫu ứng dụng.
Giải mã suy đoán DSpark
Giải mã suy đoán DSpark sử dụng mô hình dự thảo để đề xuất một số mã thông báo cho mô hình chính xác nhận trong một lần chuyển duy nhất. Cấu hình này giúp tăng tốc độ tạo trung bình trên các prompt HumanEval trong khi mức sử dụng bộ nhớ hệ thống tổng thể đạt 27.9GB.
- 1. developer.nvidia.comMở nguồn