Đừng triển khai AI Agent nếu chưa biết cách "test" bằng Shadow Mode & Eval Set

Bạn đã xây dựng một workflow AI Agent cực kỳ phức tạp trên n8n, test với dữ liệu mẫu thì rất mượt mà. Nhưng khi đưa vào thực tế, AI bắt đầu trả lời "ngáo" hoặc sai format khi dữ liệu khách hàng thay đổi?

Lý do là vì chúng ta mới chỉ test bằng cảm tính, chưa có quy trình kiểm định. Để AI Agent vận hành ổn định, bạn cần 2 khái niệm: Shadow Mode và Evaluation Set.

1. Shadow Mode (Chế độ bóng) là gì?

Thay vì thay thế workflow cũ bằng workflow mới, bạn chạy cả hai song song.

• Cách làm: Input thực tế gửi vào cả 2 workflow.
• Workflow cũ: Trả kết quả về người dùng như bình thường.
• Workflow mới: Chỉ lưu kết quả vào Database/Sheets.
• Mục tiêu: So sánh kết quả của workflow mới với workflow cũ trong thực tế mà không gây rủi ro cho trải nghiệm người dùng.

2. Evaluation Set (Bộ dữ liệu đánh giá)

Làm sao biết AI mới đúng hay sai? Bạn cần một "Đáp án".

• Tạo một file chứa 50-100 mẫu Input tiêu biểu và Kết quả mong đợi (Golden Answer).
• Sử dụng n8n để chạy workflow qua bộ mẫu này, sau đó so sánh Output của AI với Golden Answer.
• Dùng một LLM khác (như GPT-4o) để chấm điểm (score) độ tương đồng giữa 2 kết quả.

Quy trình triển khai trên n8n:

1. Trigger: Nhận dữ liệu thực tế.
2. Node Split: Chia nhánh dữ liệu vào 2 luồng (Production & Shadow).
3. Node Comparison: So sánh kết quả của 2 luồng.
4. Node Alert/Log: Gửi thông báo về Telegram nếu độ lệch > 20%.

Lời khuyên: Đừng để AI tự quyết định vận mệnh của nó. Hãy dùng dữ liệu để chứng minh nó tốt trước khi nhấn nút "Publish".

#AI #n8n #Automation #MachineLearning #AIEngineering