Corregir el sesgo de evaluación para desbloquear mejores modelos en Amazon Bedrock
Según AWS. El equipo de ingeniería de Property Finder descubrió que el sesgo en la metodología de evaluación bloqueaba la comparación objetiva de modelos.
- • El 96.8 por ciento de las etiquetas de evaluación se heredaron directamente de las predicciones de un solo modelo.
- • Property Finder anotó a mano nuevas imágenes para construir un conjunto de datos de verdad fundamental imparcial.
- • La optimización de prompts logró mayor precisión con un costo 86 por ciento menor en Amazon Bedrock.
Descubrimiento del sesgo
El equipo de ingeniería de Property Finder, una aplicación inmobiliaria digital, descubrió que el 96.8 por ciento de sus etiquetas de evaluación se habían heredado directamente de las predicciones de un solo modelo en lugar de ser verificadas por expertos humanos. Su verdad fundamental estaba sesgada sistemáticamente hacia el modelo titular, haciendo que cualquier alternativa pareciera tener un rendimiento inferior.
Construcción de verdad fundamental
Para romper el ciclo, expertos humanos con conocimiento real del dominio realizaron anotaciones nuevas de manera independiente sin hacer referencia a salidas anteriores del modelo. El equipo anotó a mano 356 imágenes de los EAU y un conjunto separado de imágenes de Egipto, utilizando las primeras 256 imágenes de los EAU como conjunto de desarrollo para el ajuste.
- 1. aws.amazon.comAbrir fuente