Policy-Bounded Autonomy & Validation
Để đảm bảo hệ thống tự vận hành một cách an toàn và bền vững, Hanoi Agents không xây dựng một hệ thống AI tự quyết vô hạn. Thay vào đó, chúng tôi áp dụng nguyên tắc thiết kế Policy-Bounded Autonomous System (Hệ thống tự vận hành có giới hạn chính sách).
1. 5 Layers of Autonomy
Để AI hoạt động độc lập không cần con người trực tiếp giám sát từng sự kiện nhưng vẫn nằm trong tầm kiểm soát, hệ thống được phân rã thành 5 lớp kiểm soát chặt chẽ:
┌──────────────────────────────────────────────┐
│ 1. Trigger (Sự kiện kích hoạt) │
│ Bài nộp mới, đến hạn đánh giá, bế tắc... │
└──────────────────────────────────────────────┘
│
▼
┌──────────────────────────────────────────────┐
│ 2. Goal (Mục tiêu hành động) │
│ Bù đắp Gap năng lực từ Level 2 lên Level 3 │
└──────────────────────────────────────────────┘
│
▼
┌──────────────────────────────────────────────┐
│ 3. Policy (Chính sách ranh giới) │
│ Quy định quyền hạn tối đa của Agent │
└──────────────────────────────────────────────┘
│
▼
┌──────────────────────────────────────────────┐
│ 4. Verification (Xác minh đầu ra) │
│ Schema check, Cross-model validation... │
└──────────────────────────────────────────────┘
│
▼
┌──────────────────────────────────────────────┐
│ 5. Recovery (Chiến lược khôi phục lỗi) │
│ Automatic retry, Escalate to Mentor... │
└──────────────────────────────────────────────┘1.1. Trigger (Sự kiện kích hoạt)
Điều gì khởi động hành động của Agent?
- Học viên nộp bài thực hành mới (
TASK_SUBMITTED). - Đã 24h học viên không phát sinh hoạt động (
NO_ACTIVITY_DETECTED). - Kết quả chấm điểm năng lực bị thay đổi (
LEARNER_MODEL_UPDATED).
1.2. Goal (Mục tiêu hành động)
Kết quả mong muốn Agent cần đạt được tại phiên làm việc hiện tại:
- Giao bài tập thích hợp giúp học viên nâng kỹ năng từ Level 2 lên Level 3.
- Phát hiện và tháo gỡ điểm tắc nghẽn (Blocker) cho học viên.
1.3. Policy (Chính sách ranh giới)
Ranh giới pháp lý và nghiệp vụ quy định những gì Agent được phép và không được phép tự ý thay đổi:
- Được phép: Tự động gửi tin nhắn nhắc nhở, tạo các gợi ý (hints) cá nhân hóa, giao các bài tập bổ sung (remedial tasks).
- Không được phép: Tự ý thay đổi Rubric chấm điểm của khóa học, tự động xóa tài khoản học viên, tự ý sửa đổi Khung năng lực chuẩn, tự động cấp chứng nhận tốt nghiệp (chứng nhận cần sự xác minh chéo).
1.4. Verification (Xác minh đầu ra)
Các chốt kiểm duyệt để đảm bảo dữ liệu do AI sinh ra (như feedback, điểm số tự luận) đạt chất lượng cao:
- Schema Validation: Ép kiểu đầu ra của AI Grader thông qua JSON schema.
- Cross-model Verification: Sử dụng mô hình AI thứ hai kiểm tra chéo tính khách quan của phản hồi.
- Confidence Threshold: Nếu độ tự tin của phép đo năng lực dưới 60%, Agent bắt buộc phải yêu cầu thu thập thêm bằng chứng hoặc chuyển sang hàng chờ Mentor xác nhận.
1.5. Recovery (Khôi phục lỗi)
Quy trình xử lý khi mọi thứ đi sai hướng:
- Khởi chạy cơ chế Retry tự động từ Cloudflare Workflows.
- Sử dụng mô hình AI dự phòng (Fallback Model).
- Chuyển tiếp yêu cầu hỗ trợ (Escalation) đến Mentor là con người nếu học viên bị kẹt bài tập liên tục quá 3 lần.
2. Frameworks to Avoid
Trong quá trình thiết kế, Hanoi Agents đưa ra quyết định loại bỏ các thư viện sau để đảm bảo tính tối giản và khả năng deploy tự nhiên lên Cloudflare Stack:
- LangChain: Rất mạnh mẽ nhưng tạo ra quá nhiều lớp trừu tượng (abstractions) không cần thiết, làm tăng dung lượng bundle và gây khó khăn lớn cho việc debug trong môi trường Serverless.
- CrewAI / AutoGen: Phù hợp cho việc demo multi-agent bằng ngôn ngữ Python, nhưng việc deploy lên Cloudflare Workers (TypeScript native) là vô cùng phức tạp và không được hỗ trợ tối đa.
- Temporal: Công cụ điều phối workflow huyền thoại, nhưng yêu cầu tự vận hành cơ sở hạ tầng phức tạp bên ngoài. Cloudflare Workflows có sẵn mang lại trải nghiệm tích hợp mượt mà hơn.
- Next.js làm toàn bộ Backend: Gây lẫn lộn giữa logic hiển thị giao diện và logic vận hành Agent. Trạng thái của Stateful Agent cần được quản lý độc lập tại Durable Objects của Agents SDK.