Mẫu bộ nhớ đệm nhắc lệnh cho các mô hình OpenAI trên Amazon Bedrock
Theo công bố của AWS. Khám phá cách sử dụng bộ nhớ đệm nhắc lệnh để tối ưu hóa chi phí và hiệu suất cho các tác nhân AI trên Amazon Bedrock.
- • Các tác nhân AI phải liên tục đọc lại toàn bộ ngữ cảnh trong mỗi lượt tương tác.
- • Bộ nhớ đệm nhắc lệnh lưu trữ trạng thái đầu vào để tái sử dụng trong các yêu cầu tiếp theo.
- • Nền tảng hỗ trợ cả chế độ bộ nhớ đệm tường minh và ngầm định.
- • Việc kết hợp cả hai chế độ giúp duy trì điểm khởi đầu có thể tái sử dụng.
Vấn đề lặp lại
Mỗi khi một tác nhân AI thực hiện một bước hành động, hệ thống phải gửi toàn bộ lịch sử bao gồm định nghĩa công cụ, hướng dẫn và kết quả trước đó để duy trì tính liên tục. Điều này khiến mô hình phải đọc lại từ đầu trong mỗi lượt tương tác và người dùng phải chi trả chi phí cho toàn bộ mã thông báo đó.
Cơ chế bộ nhớ đệm
Bộ nhớ đệm nhắc lệnh phá vỡ chu kỳ lặp lại bằng cách lưu trữ phần nhắc lệnh đầu vào và tái sử dụng nó ở yêu cầu tiếp theo với mức giá thấp hơn nhiều so với giá đầu vào ban đầu. Dịch vụ lưu trữ trạng thái làm việc của mô hình để xử lý các phần dữ liệu mới xuất hiện trong payload tiếp theo.
Chế độ kết hợp
Amazon Bedrock hỗ trợ cả phương pháp bộ nhớ đệm ngầm định khi dịch vụ tự động chọn điểm kết thúc tiền tố có thể tái sử dụng và phương pháp tường minh khi mã nguồn đánh dấu điểm kết điểm cụ thể. Việc kết hợp hai cách tiếp cận này mang lại điểm khởi đầu có thể tái sử dụng trong khi dịch vụ tự động quản lý lịch sử hội thoại.
- 1. aws.amazon.comMở nguồn