Feedback 01: Hallucination in extraction

Challenge: ../challenges/01-hallucination-in-extraction.md · Người hỏi: Vinh Ha (CTO)

1. Intention: khách thực sự muốn biết gì?

CTO cần cơ chế phát hiện lỗi, không phải lời hứa.

2. Điều nên tránh

• Nói mô hình mới không ảo giác.
• Bỏ qua kiểm tra chéo.
• Không có con người trong quy trình.

3. Cách trả lời

CCA (Control – Compliance – Audit)

Khung nói ngắn gọn:

1. Biện pháp kiểm soát
2. Tuân thủ: xác nhận cùng pháp chế/khách, không đoán
3. Bằng chứng kiểm toán (log, báo cáo)
4. Hỏi đầu mối hoặc chính sách hiện có

4. Câu trả lời mẫu (ngắn gọn)

We assume it will happen and design for it. Every extracted value must point to its location in the document, and we cross-check totals, dates and codes with rules. Low-confidence fields are highlighted for an assessor. We'll measure field-level accuracy on your documents in the pilot. Can you provide a few hundred past claims for testing?

Khoảng 56 từ, nói trong khoảng 25 giây.

Cách giữ ngắn gọn mà vẫn đạt mục tiêu: mở bằng kết luận, mỗi ý một câu, không giải thích kỹ thuật trừ khi được hỏi, và dừng lại bằng câu hỏi để khách dẫn tiếp.

5. Vì sao câu trả lời này hiệu quả

Thiết kế với giả định có lỗi; truy vết nguồn và kiểm tra chéo là câu trả lời kỹ thuật thuyết phục.