3 Formas de Potenciar la Inferencia MoE en NVIDIA DGX Spark
Según NVIDIA Developer. Descubra técnicas de desarrollador para optimizar el rendimiento de inferencia de mezcla de expertos en hardware NVIDIA DGX Spark.
- • Reemplazar el backend MoE FlashInfer MXFP4 con la biblioteca de núcleos Humming redujo el tiempo por token de salida.
- • La cuantización FP8 en línea de la cabeza LM redujo a la mitad su volumen de lectura de peso.
- • La decodificación especulativa de predicción de múltiples tokens utilizando la capa NEXTN alcanzó 3.90 tokens aceptados por ronda.
- • Las tres optimizaciones juntas aumentaron el rendimiento de decodificación en 42.5% y redujeron la latencia media en 24.5%.
Resumen de Evaluación
Ling-3.0-flash es un modelo de mezcla de expertos de 124 mil millones de parámetros con 5.1 mil millones de parámetros activos por token, evaluado en NVIDIA DGX Spark con tamaño de lote 1. La perfilación mostró que la decodificación estaba limitada por la memoria, impulsada por el cálculo MoE y la proyección de la capa de salida.
Backend Humming y Cuantización FP8
Reemplazar el backend MoE FlashInfer MXFP4 con la biblioteca de núcleos Humming redujo el tiempo por token de salida de 27.71 ms a 25.35 ms, logrando una ganancia de rendimiento del 9.3%. La cuantización FP8 en línea de la cabeza LM redujo a la mitad su volumen de lectura de peso y, combinada con Humming, mejoró el rendimiento de decodificación un 21.7% sobre la línea base.
Decodificación Especulativa y Resultados
La decodificación especulativa de predicción de múltiples tokens utilizando la capa NEXTN integrada del modelo logró 3.90 tokens aceptados por ronda en una carga de trabajo sintética, elevando el rendimiento un 185.1% sobre la línea base. En el conjunto de prueba GSM8K completo, las tres optimizaciones aumentaron el rendimiento de decodificación un 42.5% y redujeron la latencia media un 24.5% sin cambios de precisión detectables estadísticamente.
- 1. developer.nvidia.comAbrir fuente