Quality Model & Gates
AI-First Learner Intelligence Platform
Version: 1.0
Context: Tiêu chí kiểm định chất lượng (Quality Standards) cho từng Key Deliverable
1. Quality Gates cho 5 Key Deliverables
Để đảm bảo chất lượng toàn hệ thống, Hanoi Agents thiết lập 5 cổng kiểm soát chất lượng (Quality Gates) tương ứng với 5 Key Deliverables:
| Quality Gate | Key Deliverable | Tiêu chí Chất lượng Đo lường |
|---|---|---|
| Gate 1 | Competency Framework | Relevance, Completeness, Distinctness, Observability, Actionability |
| Gate 2 | Assessment Instrument | Validity, Coverage, Difficulty, Discrimination, Mapping accuracy, Rubric clarity |
| Gate 3 | Learner Model | Accuracy, Freshness, Coverage, Consistency, Uncertainty honesty, Traceability |
| Gate 4 | Learning Decision | Relevance, Goal alignment, Priority correctness, Feasibility, Actionability, Personalization |
| Gate 5 | Outcome Evidence | Before-after comparability, Learning gain, Retention, Completion, Attribution caution, Reassessment validity |
2. Đặc tả chi tiết tiêu chí chất lượng cho từng cổng
Gate 1: Competency–Skill–Indicator Model (Thiết kế Khung)
- Relevance (Tính thực tiễn): Chỉ báo năng lực phải tương thích với nhu cầu công việc thực tế của ngành nghề đích (ví dụ: Product Manager).
- Completeness (Tính toàn vẹn): Tập hợp các chỉ báo con phải bao phủ đầy đủ phạm vi hành vi của kỹ năng cha.
- Distinctness (Tính độc lập): Các chỉ báo không được trùng lặp chéo về mặt ngữ nghĩa để tránh tính điểm lặp lại.
- Observability (Tính quan sát được): Chỉ báo phải đo được bằng hành vi cụ thể của học viên, không được định nghĩa mơ hồ.
- Actionability (Tính hành động hóa): Khi học viên bị hổng chỉ báo này, hệ thống phải biết chính xác loại bài tập nào giúp cải thiện nó.
Gate 2: Assessment Instrument (Công cụ Đo)
- Validity (Tính hiệu lực): Câu hỏi trắc nghiệm phải thực sự đo lường năng lực tư duy thực tế của chỉ báo đó, loại bỏ các câu hỏi học vẹt lý thuyết suông.
- Coverage (Độ bao phủ): Ngân hàng câu hỏi phải có đủ số lượng câu hỏi phân bổ đều cho tất cả các chỉ báo trong khung.
- Difficulty & Discrimination (Độ khó & Độ phân hóa): Câu hỏi phải có độ khó cân bằng và phân hóa được học viên giỏi - yếu.
- Mapping Accuracy (Ánh xạ chính xác): Ánh xạ câu hỏi tới chỉ báo chính xác 100% qua sự kiểm duyệt của chuyên gia sư phạm.
- Rubric Clarity (Barem rõ ràng): Quy tắc chấm điểm hoặc barem chuyển đổi từ điểm thi sang cấp độ năng lực phải tường minh, không mập mờ.
Gate 3: Learner Model (Mô hình người học)
- Accuracy (Độ chính xác): Điểm số năng lực suy luận của AI phải phản ánh đúng trình độ thực tế của học viên (so với điểm chuẩn chấm chéo bởi Mentor).
- Freshness (Độ mới dữ liệu): Dữ liệu bằng chứng phải được cập nhật thường xuyên; các bằng chứng quá cũ phải bị giảm trọng số (stale data decay).
- Consistency (Tính nhất quán): Mô hình không được nhảy điểm số đột ngột giữa hai thời điểm rất gần nhau nếu không có bằng chứng cực kỳ thuyết phục.
- Uncertainty Honesty (Minh bạch về độ bất định): Hệ thống phải tự động hạ chỉ số tự tin (Confidence score) khi học viên thiếu bằng chứng hoặc bằng chứng mâu thuẫn chéo.
- Traceability (Khả năng truy vết): Mỗi điểm số tích lũy của kỹ năng phải có khả năng phân rã và truy vết ngược về đến tận từng câu trả lời thô của bài quiz.
Gate 4: Learning Decision (Quyết định học tập)
- Goal Alignment (Bám sát mục tiêu): Đề xuất học tập phải hướng tới mục tiêu đầu ra cá nhân hóa của học viên đó.
- Priority Correctness (Ưu tiên chính xác): Ưu tiên lấp các lỗ hổng (Gaps) của kỹ năng tiên quyết (Prerequisites) có tầm quan trọng cao trước khi học kỹ năng nâng cao.
- Feasibility (Tính khả thi): Tác vụ đề xuất phải nằm trong Thư viện tác vụ có thực và học viên có đủ điều kiện năng lực nền tảng để thực hiện.
- Personalization (Tính cá nhân hóa): Lời thoại giải thích lý do sư phạm của AI phải phù hợp với tâm lý học viên, chỉ rõ lý do vì sao họ được giao bài này.
Gate 5: Outcome Evidence (Kiểm chứng tiến bộ)
- Before–After Comparability (So sánh được trước-sau): Bài thi đánh giá lại (reassessment) phải có cùng độ khó, độ phân hóa và đo cùng chỉ báo năng lực với bài thi đầu vào để đảm bảo so sánh công bằng.
- Learning Gain (Độ tăng trưởng năng lực): Đo lường chính xác giá trị gia tăng điểm số thực tế sau can thiệp can thiệp học tập.
- Retention (Tính bền vững): Đảm bảo năng lực của học viên được duy trì lâu dài thông qua các bài test nhắc lại (spaced reassessment).
- Attribution Caution (Thận trọng về nguyên nhân): Phân biệt rõ sự tiến bộ của học viên là do thực hiện đề xuất của AI hay do các yếu tố học tập bên ngoài.