Feedback 04: Measuring accuracy continuously

Challenge: ../challenges/04-measuring-accuracy-continuously.md · Người hỏi: Vinh Ha (CTO)

1. Intention: khách thực sự muốn biết gì?

CTO cần đánh giá liên tục.

2. Điều nên tránh

• Chỉ kiểm thử một lần.
• Tin vào nhà cung cấp mô hình.
• Không có ngưỡng cảnh báo.

3. Cách trả lời

CCA (Control – Compliance – Audit)

Khung nói ngắn gọn:

1. Biện pháp kiểm soát
2. Tuân thủ: xác nhận cùng pháp chế/khách, không đoán
3. Bằng chứng kiểm toán (log, báo cáo)
4. Hỏi đầu mối hoặc chính sách hiện có

4. Câu trả lời mẫu (ngắn gọn)

We keep a test set of real claims and run it automatically every week and before any model change. We also track how often assessors correct the AI in daily work. If accuracy drops below an agreed level, we're alerted and investigate. You'll see it all on a dashboard. Who on your team would own that dashboard?

Khoảng 57 từ, nói trong khoảng 25 giây.

Cách giữ ngắn gọn mà vẫn đạt mục tiêu: mở bằng kết luận, mỗi ý một câu, không giải thích kỹ thuật trừ khi được hỏi, và dừng lại bằng câu hỏi để khách dẫn tiếp.

5. Vì sao câu trả lời này hiệu quả

Hai nguồn đo lường, ngưỡng cảnh báo và chủ sở hữu rõ ràng.