Construir un Runtime de Kubernetes validado para NVIDIA Dynamo
Según NVIDIA Developer. NVIDIA presenta AI Cluster Runtime (AICR) para empaquetar NVIDIA Dynamo y su infraestructura de soporte en recetas validadas.
- • NVIDIA lanzó AI Cluster Runtime (AICR) para empaquetar Dynamo y su infraestructura.
- • Dynamo 1.4.2 utiliza TCP para el plano de solicitudes y ZMQ para eventos de caché KV.
- • AICR separa la configuración del runtime del despliegue de aplicaciones en cinco pasos.
- • La ruta predeterminada de AICR ya no utiliza NATS en Dynamo 1.4.
Infraestructura y Empaquetado AICR
La plataforma NVIDIA DSX AI Factory reúne tecnologías para ayudar al ecosistema a diseñar, construir y operar fábricas de IA más eficientes, siendo Dynamo una de ellas. Para facilitar la gestión de dichas dependencias de infraestructura, la plataforma incluye NVIDIA AI Cluster Runtime (AICR). Empaqueta NVIDIA Dynamo y su infraestructura de soporte en recetas validadas con versiones de componentes fijadas.
Enrutamiento y Eventos KV-Cache
Dynamo 1.4.2 utiliza TCP para el plano de solicitudes y ZMQ para los eventos de caché KV, permitiendo que tanto el enrutador frontend nativo de Dynamo como la ruta GAIE/EPP tomen decisiones de enrutamiento conscientes de la caché. Cada motor de trabajador de vLLM emite eventos de caché KV en bruto a través de un editor ZMQ local.
- 1. developer.nvidia.comAbrir fuente