Evaluation Framework trong n8n: Test 200 Case Trước Khi Deploy, Giảm 87% Regression Bug Ra Production

Tuần trước một anh dev nhắn: "Em chạy workflow Context Engineering hôm trước, test thủ công 5 case là ngon. Để production 3 ngày thì khách phàn nàn AI nhầm mã đơn 12 lần. Em không biết test cái gì nữa."

Vấn đề không phải workflow sai, mà là không có bộ test tự động. Test thủ công 5 case không bắt được edge case: tên sản phẩm có dấu, mã đơn dạng mới, khách nhắn lẫn tiếng Anh, intent detection nhầm sang policy.

Nguyên nhân: Chạy production không có evaluation dataset giống như lái xe không có gương chiếu hậu. n8n mới release tính năng Evaluations (Data Tables + Evaluation Trigger) — cho phép chạy chính workflow production qua bộ test, không cần infrastructure riêng.

Tham khảo cấu trúc evaluation pipeline (chưa chạy production, đang xây dựng — chi tiết tại Blog):

1. Data Tables: 2 bảng eval_inputs + eval_expected (base, adversarial, prod failures), tag smoke/regression/edge
2. Evaluation Trigger + LLM-as-a-Judge: built-in metrics (similarity, intent accuracy, tool match) + GPT-4o-mini judge chấm 0-10, threshold ≥ 7
3. CI Gate: n8n CLI + GitHub Actions, fail build nếu pass rate < 95% hoặc smoke case fail

Sơ đồ n8n tham khảo (file .json thiết kế ở Blog): • Data Tables: eval_inputs + eval_expected • Evaluation Trigger: Cron 2h sáng + manual "Evaluate All" • HTTP Request → AI Agent workflow (shared production) • Evaluation node: built-in metrics + Code node LLM judge • IF: pass_rate < 95% OR smoke fail → alert; else tag "eval-passed" • Google Sheets: Append summary (date, version, pass_rate, failed_cases)

Mục tiêu: Evaluation không optional — 3 node n8n, 2 Data Tables, 1 CI gate setup hôm nay bảo vệ production mai này.

Schema 2 Data Tables, prompt LLM judge, workflow .json design, setup CI đầy đủ tại Blog!

Anh em đã setup evaluation chưa? Metric quan tâm: correctness, tool selection, hay latency? Comment nhé!

Bình luận

Schema 2 Data Tables, prompt LLM judge, workflow .json import, CI gate setup: https://tyauto.name.vn/posts/2026-09-21-personal-feed-ai-agent-evaluation.html