Meta Implementa JiTTests Impulsados por Inteligencia Artificial para Detectar Errores
Según Meta. Meta detalla los resultados y el impacto positivo de su enfoque Catching Just-in-Time Tests (JiTTests) utilizando grandes modelos de lenguaje para generar pruebas ejecutables.
- • Meta ha integrado Catching JiTTests en su infraestructura de producción principal.
- • El sistema genera pruebas automáticamente utilizando flujos de trabajo basados en intenciones y diferencias dudosas.
- • Se utiliza un conjunto de modelos denominado LLM-as-Judge junto con el evaluador RubFake para filtrar falsos positivos.
- • El enfoque de humano en el bucle permite a los ingenieros revisar los resultados a un nivel agregado.
Enfoque de JiTTests en Producción
Meta ha compartido los resultados y el impacto positivo de desplegar su enfoque Catching Just-in-Time Tests (JiTTests) en producción. Con cientos de millones de líneas de código en constante evolución, las pruebas tradicionales no pueden mantener el ritmo. JiTTests aprovecha grandes modelos de lenguaje para generar pruebas ejecutables que detectan errores al momento antes de que los cambios lleguen a producción.
Flujo de Trabajo del Sistema
El flujo de trabajo completo se desarrolla en cinco etapas: selección y activación nocturna de cambios riesgosos, dos flujos de generación de pruebas conscientes de las diferencias (dodgy diff e intent-aware), una evaluación automatizada mediante un conjunto LLM-as-Judge, un evaluador basado en reglas llamado RubFake, y un enfoque de humano en el bucle (human-on-the-loop) para revisar los resultados a nivel agregado.
Impacto y Resultados Obtenidos
Hasta la fecha, 589 ingenieros en Meta han interactuado con los resultados del sistema, reportando una tasa de verdaderos positivos del 60%. En la primera mitad de 2026, Catching JiTTests desempeñó un papel clave al detectar 74 errores graves de privacidad en la etapa de diferencias antes de llegar a producción, reduciendo la ocurrencia general de incidentes graves de privacidad en un 20%.
- 1. engineering.fb.comAbrir fuente