Khắc phục độ lệch đánh giá để mở khóa các mô hình tốt hơn trên Amazon Bedrock
Theo công bố của AWS. Nhóm kỹ thuật tại Property Finder phát hiện ra rằng độ lệch trong phương pháp đánh giá đã cản trở việc so sánh mô hình khách quan.
- • 96,8% nhãn đánh giá của Property Finder được kế thừa từ dự đoán của một mô hình duy nhất.
- • Nhóm đã xây dựng tập dữ liệu chuẩn khách quan bằng cách sử dụng các chuyên gia con người.
- • Quy trình tối ưu hóa prompt lặp đi lặp lại đã giúp đạt được độ chính xác cao hơn với chi phí thấp hơn 86%.
Phát hiện độ lệch đánh giá
Đội ngũ kỹ thuật tại Property Finder, một ứng dụng bất động sản kỹ thuật số, đã phát hiện ra rằng 96.8 phần trăm nhãn đánh giá của họ được kế thừa trực tiếp từ dự đoán của một mô hình duy nhất thay vì được xác minh bởi các chuyên gia con người. Nền tảng này xử lý hàng chục nghìn hình ảnh bất động sản mỗi ngày trên khắp Trung Đông và Bắc Phi, đánh giá 11 thuộc tính chất lượng cho mỗi hình ảnh.
Xây dựng sự thật mặt đất đáng tin cậy
Để phá vỡ chu kỳ này, các chuyên gia con người có kiến thức chuyên môn thực sự về lĩnh vực đã thực hiện các chú thích mới một cách độc lập mà không tham khảo các đầu ra của mô hình trước đó. Nhóm đã chú thích thủ công 356 hình ảnh ở UAE và một tập hợp riêng biệt gồm các hình ảnh ở Ai Cập, trong đó 256 hình ảnh UAE đầu tiên tạo thành tập phát triển để tinh chỉnh.
- 1. aws.amazon.comMở nguồn