Ejecute modelos de IA para desarrollo en el borde con TensorRT Edge-LLM
Según NVIDIA Developer. NVIDIA presenta herramientas para desarrolladores orientadas a prototipar y probar modelos de IA en dispositivos embebidos utilizando NVIDIA DGX Spark 64GB.
- • TensorRT Edge-LLM ofrece un entorno de ejecución de inferencia C++ ligero para cargas de trabajo embebidas.
- • La interfaz de comandos trtedge descarga modelos y compila motores TensorRT optimizados.
- • La decodificación especulativa DSpark incrementa la velocidad de generación media en pruebas.
Desarrollo de aplicaciones en el borde
NVIDIA DGX Spark en su configuración de 64GB proporciona una plataforma para que los desarrolladores embebidos puedan prototipar, ajustar y probar modelos y agentes. NVIDIA TensorRT Edge-LLM ofrece un entorno de ejecución de inferencia C++ ligero diseñado para cargas de trabajo embebidas.
Uso de la interfaz trtedge
Puede comenzar en pocos comandos con la interfaz de línea de comandos trtedge, la cual descarga el modelo seleccionado y construye motores TensorRT optimizados para la inferencia en Spark, permitiendo probar prompts y servir el modelo a través de una API compatible con OpenAI.
Rendimiento y decodificación especulativa
Puede acelerar la generación con la decodificación especulativa DSpark, la cual utiliza un modelo borrador para proponer varios tokens para que el modelo principal los verifique en un solo paso, aumentando la velocidad de generación media en prompts HumanEval con un uso máximo de memoria de 27.9GB.
- 1. developer.nvidia.comAbrir fuente