AWS tối ưu hóa tự động mở rộng cho mô hình chuyển văn bản thành giọng nói
Theo công bố của AWS. AWS giới thiệu phương pháp đo lường thực tế để thay thế việc dự đoán thủ công các ngưỡng tự động mở rộng trên Amazon SageMaker AI.
- • Sử dụng phép đo Q_max và T_total để xác định chính xác ngưỡng mở rộng thay vì phỏng đoán.
- • Tận dụng chỉ số ConcurrentRequestsPerModel có sẵn từ Amazon SageMaker AI để quản lý tải.
- • Triển khai mô hình Kokoro-82M thông qua AWS CDK với các kiểm soát an toàn nghiêm ngặt.
Vấn đề với việc dự đoán ngưỡng
Theo AWS, việc đặt ngưỡng tự động mở rộng dựa trên phỏng đoán thường dẫn đến hai rủi ro: lãng phí tài nguyên GPU khi đặt quá thấp hoặc không đáp ứng được yêu cầu về độ trễ (SLO) khi lưu lượng truy cập tăng đột biến. Các mô hình chuyển văn bản thành giọng nói (TTS) không tuân theo các mô hình lưu lượng thông thường của LLM, khiến việc thiết lập thủ công trở nên kém hiệu quả.
Giải pháp đo lường thực tế
AWS đề xuất thay thế phỏng đoán bằng hai phép đo thực tế: Q_max (số lượng yêu cầu đồng thời tối đa một phiên bản có thể xử lý trong giới hạn SLO) và T_total (thời gian cần thiết để hoàn thành quá trình mở rộng). Phương pháp này sử dụng chỉ số ConcurrentRequestsPerModel do Amazon SageMaker AI tự xuất bản, giúp loại bỏ các lỗi cấu hình liên quan đến chỉ số tùy chỉnh.
- 1. aws.amazon.comMở nguồn