Acelere la IA de agentes con los modelos NVIDIA Nemotron en Amazon EKS y SageMaker HyperPod EKS
Según AWS. Amazon Web Services anuncia la disponibilidad y despliegue del modelo multimodal NVIDIA Nemotron 3.5 Super VL en Amazon EKS y SageMaker HyperPod EKS.
- • NVIDIA Nemotron 3.5 Super VL se incorpora a los modelos Nemotron disponibles en AWS.
- • El modelo cuenta con 120 mil millones de parámetros totales y 12 mil millones activos por token.
- • Procesa texto, imágenes, documentos y vídeo para flujos de trabajo de agentes.
- • Es compatible con Amazon EKS, EKS Auto Mode y SageMaker HyperPod EKS.
Características del modelo
NVIDIA Nemotron 3.5 Super VL es un modelo multimodal abierto destilado de Nemotron 3 Ultra. Utiliza una arquitectura híbrida Mamba-Transformer de mezcla de expertos que activa 12 mil millones de sus 120 mil millones de parámetros por token, combinando el razonamiento con la comprensión de texto, imágenes, documentos y vídeo.
Implementación en infraestructura AWS
La implementación de referencia se ejecuta en Amazon EKS, EKS Auto Mode y SageMaker HyperPod EKS utilizando NVIDIA Dynamo y vLLM. La arquitectura ha sido validada en instancias optimizadas para IA en AWS, permitiendo medir indicadores clave de rendimiento como la latencia y el rendimiento por token.
- 1. aws.amazon.comAbrir fuente