Patrones de caché de avisos para modelos de OpenAI en Amazon Bedrock
Según AWS. Conozca cómo los patrones de caché de avisos ayudan a los agentes de IA a mantener la continuidad y reducir los costos de tokens.
- • Los agentes de IA deben releer todo su historial en cada paso operativo.
- • El almacenamiento en caché de avisos reutiliza las entradas a una fracción del costo.
- • Amazon Bedrock admite mecanismos de caché tanto implícitos como explícitos.
- • La combinación de ambos enfoques optimiza el punto de inicio compartido.
El ciclo del agente
Cada vez que un agente de IA realiza una acción, debe enviar toda su historia hasta el momento para mantener la continuidad, lo que incluye definiciones de herramientas, instrucciones y resultados anteriores. El modelo no posee memoria interna entre solicitudes, por lo que debe leer todo nuevamente en cada turno.
Funcionamiento del caché
El almacenamiento en caché de avisos rompe este ciclo al guardar el aviso de entrada y reutilizarlo en la siguiente solicitud a un precio inferior. El servicio procesa los tokens de entrada y guarda el estado de trabajo para evitar tener que calcularlo nuevamente desde cero.
Modos de uso
El modo implícito permite que Amazon Bedrock elija qué almacenar a medida que crece la conversación, mientras que el modo explícito permite marcar contenido compartido mediante puntos de interrupción específicos. Se pueden utilizar ambos enfoques de manera conjunta para equilibrar el contenido estático y el historial en crecimiento.
- 1. aws.amazon.comAbrir fuente