User Requirement Document (URD)

AI-First Learner Intelligence System
Version: 0.9 (Hackathon Edition)

0. Pitching Stories: Case Studies

Để hiểu rõ bối cảnh và giá trị thực tế của Hanoi Agents, hãy cùng xem xét hai câu chuyện điển hình dưới đây:

Story 1: Linh — Vòng lặp học tập mù quáng của Learner

• Bối cảnh: Linh là cử nhân ngành Quản trị kinh doanh muốn chuyển ngành để trở thành một Product Manager (PM) chuyên nghiệp. Bạn ấy đã dành ra hơn 2 năm, đăng ký 3 khóa học trực tuyến lớn và tự ôn tập hàng trăm video trên YouTube với tổng chi phí học phí và tài liệu vượt quá 50 triệu VND.
• Khó khăn: Mặc dù Linh sở hữu 3 chứng chỉ hoàn thành khóa học (Completion Certificates) với điểm số trắc nghiệm 9/10, bạn ấy vẫn liên tục trượt phỏng vấn PM. Linh hoàn toàn mông lung không biết mình đang ở đâu, điểm yếu thực tế nằm ở mảng nào, và nhà tuyển dụng thì đánh giá Linh "thiếu tư duy giải quyết vấn đề thực tế". Linh rơi vào bối cảnh mất phương hướng, không biết hành động tiếp theo cần làm gì để sửa đổi.
• Hệ quả với Hanoi Agents: Khi tham gia nền tảng Hanoi Agents, hệ thống thu thập sản phẩm thực tế Linh nộp (Evidence) ➔ AI đối chiếu Rubrics và định vị chính xác: Điểm chỉ báo Customer Pain Identification của Linh chỉ đạt Level 2 vì Linh đang mắc lỗi ngộ nhận (confuses pain with jobs). AI lập tức đề xuất một bài kiểm tra sửa lỗi ngộ nhận kèm theo diễn giải sư phạm. Chỉ sau 2 tuần rèn luyện đúng lỗ hổng (Gap), năng lực của Linh tăng lên Level 4 và bạn ấy đỗ phỏng vấn PM.

Story 2: Tuấn — Blocker của Mentor và Học viện đào tạo

• Bối cảnh: Tuấn là Trưởng bộ phận Đào tạo tại một học viện công nghệ lớn, chịu trách nhiệm chuẩn đầu ra cho hơn 500 học viên mỗi năm. Tuấn cùng đội ngũ giảng viên đã mất 3 năm tự biên soạn hàng trăm câu hỏi kiểm tra năng lực và cố gắng xây dựng quy trình chấm điểm bài tập thực hành. Chi phí vận hành, thuê chuyên gia review bài viết và chấm bài tự luận đã tiêu tốn của học viện hơn 300 triệu VND/năm.
• Khó khăn: Mặc dù đầu tư rất nhiều tiền bạc và công sức, Tuấn vẫn không thể trả lời được câu hỏi của Ban giám đốc: "Chất lượng đầu ra thực tế của học sinh đạt cấp độ mấy theo khung năng lực?" và "Có bằng chứng thực nghiệm nào chứng minh học viên đã giỏi thực sự ngoài điểm thi lý thuyết?". Các Mentor luôn bị quá tải do phải chấm bài thủ công, học viên liên tục phàn nàn vì phản hồi nhận được quá chậm (mất 3-5 ngày) và lời khuyên nhận được rất chung chung ("Cần cố gắng thêm").
• Hệ quả với Hanoi Agents: Hanoi Agents tự động tiếp nhận bài nộp của học viên, đối chiếu với tiêu chí Rubric chuẩn hóa để chấm điểm chỉ báo năng lực tự động chỉ trong 3 giây. AI sinh ra lời phê chi tiết và đề xuất lộ trình tiếp theo. Mentor chỉ cần can thiệp kiểm duyệt (approve) các trường hợp có độ tự tin (Confidence) thấp. Tuấn dễ dàng xuất biểu đồ kiểm định chất lượng đào tạo (Data Lineage) chính xác cho ban giám đốc, giảm 80% chi phí chấm điểm và thời gian phản hồi rút ngắn từ 3 ngày xuống 3 giây.

1. Vision

Xây dựng một hệ thống AI-First Learning Intelligence có khả năng:

• Quan sát quá trình học của learner.
• Suy luận năng lực hiện tại của learner.
• Cập nhật Learner Model liên tục.
• Đưa ra chiến lược học tập cá nhân hóa.
• Tự cải thiện chất lượng đánh giá theo thời gian.

IMPORTANT

AI là thành phần trung tâm của hệ thống. Nếu loại bỏ AI Model, hệ thống không thể thực hiện chức năng cốt lõi.

2. Problem Statement

Các hệ thống quản lý học tập (LMS) hiện nay chủ yếu tập trung vào:

• Lưu điểm số lý thuyết thô.
• Theo dõi phần trăm hoàn thành video bài giảng (completion rate).
• Ghi nhận chuyên cần.

Tuy nhiên, chúng hoàn toàn không trả lời được các câu hỏi quan trọng:

• Learner thực sự giỏi kỹ năng nào ở môi trường làm việc thực tế?
• Learner đang yếu ở chỉ báo năng lực (indicator) cụ thể nào?
• AI tự tin bao nhiêu về các đánh giá năng lực đó (Confidence)?
• Learner có đang tiến bộ thực sự theo thời gian hay không (Trend)?
• Người học nên học hoặc làm bài tập gì tiếp theo để tối ưu hóa lộ trình?

3. Product Goal

Sau mỗi lần learner hoàn thành bài kiểm tra (quiz) hoặc tác vụ thực hành (task), hệ thống tự động:

• Phân tích bằng chứng học tập (evidence).
• Chấm điểm và xếp cấp độ cho từng chỉ báo năng lực (indicator).
• Tổng hợp dữ liệu chỉ báo thành kỹ năng (skill).
• Tổng hợp điểm kỹ năng thành năng lực tổng quát (competency).
• Cập nhật tức thời Learner Model (Digital Twin).
• Xác định khoảng cách kiến thức (Knowledge Gap).
• Cập nhật độ tự tin đánh giá (Confidence) và xu hướng năng lực (Trend).
• Đề xuất bước học tiếp theo phù hợp nhất (Next Best Action).

4. Target Users

Learner (Học viên)

Muốn biết:

• Trình độ năng lực thực tế của mình đang ở đâu.
• Cần phải học hay làm bài tập gì tiếp theo để bù đắp khoảng cách.
• Tiến độ cải thiện năng lực qua từng ngày.

Mentor (Người hướng dẫn)

Muốn biết:

• Học viên của mình đang gặp khó khăn hay bế tắc ở chỉ báo năng lực nào.
• Tiến độ học tập của từng học viên có đồng đều hay không.
• Cần phải can thiệp và hỗ trợ ở đâu để hiệu quả nhất.

School / Admin (Quản trị chương trình)

Muốn biết:

• Chất lượng đầu ra thực tế của học viên.
• Hiệu quả của giáo trình giảng dạy (course) và các tác vụ đánh giá (assessment).
• Hiệu quả tổng thể của chiến lược học tập cá nhân hóa.

5. Scope (Hackathon MVP)

Xem chi tiết phạm vi tính năng MVP

• Dữ liệu đầu vào (Input):
  • Kết quả kiểm tra trắc nghiệm (Quiz Results).
  • Hồ sơ người học ban đầu (Learner Profile).
  • Báo cáo tự phản hồi của học viên (Reflection - Tùy chọn).
• Kết quả đầu ra (Output):
  • Điểm chỉ báo năng lực (Indicator Scores).
  • Điểm kỹ năng tổng hợp (Skill Scores).
  • Hồ sơ năng lực tổng quan (Competency Profile).
  • Độ tự tin đánh giá (Confidence Score).
  • Xu hướng phát triển (Trend).
  • Đề xuất lộ trình học tập tiếp theo (Learning Recommendation).

6. Functional Requirements

FR-01: Evidence Collection

Hệ thống phải thu thập và lưu giữ đầy đủ các dữ liệu bằng chứng: Kết quả quiz, sản phẩm của tác vụ thực hành, phản hồi tự đánh giá (reflection) của học viên, đi kèm mốc thời gian (timestamp).

FR-02: Evidence Management

Hệ thống phải hỗ trợ lưu trữ, truy xuất và quản lý lịch sử bằng chứng theo phiên bản (versioned evidence ledger) để đối chiếu khi cần thiết.

FR-03: Indicator Assessment

AI phải đọc sản phẩm nộp của học viên, đối chiếu với tiêu chí Rubric, suy luận xếp hạng cấp độ chỉ báo (indicator level) kèm theo diễn giải sư phạm (explanation), điểm số (score), và độ tin cậy (confidence).

FR-04: Skill Aggregation

Hệ thống tự động tổng hợp điểm từ các chỉ báo năng lực thành điểm kỹ năng (skill score) thông qua cơ chế trọng số (weighting) và ngưỡng đạt (threshold).

FR-05: Competency Aggregation

Hệ thống tổng hợp điểm kỹ năng thành điểm năng lực tổng quát và cập nhật vào Hồ sơ năng lực (Competency Profile).

FR-06: Learner Model

AI duy trì một Learner Model động cho mỗi học viên bao gồm: Danh sách năng lực, kỹ năng, chỉ báo, độ tự tin đánh giá, xu hướng phát triển, thứ tự ưu tiên học tập, và mốc thời gian cập nhật cuối cùng.

FR-07: Knowledge Gap Detection

AI tự động xác định các chỉ báo, kỹ năng, hoặc năng lực học viên còn yếu dựa trên sự kết hợp giữa: điểm số thấp, mức độ quan trọng của năng lực, các điều kiện tiên quyết (prerequisites), và độ tự tin đánh giá của AI.

FR-08: Trend Analysis

Theo dõi sự thay đổi năng lực theo xu hướng: Improving (tiến bộ), Stable (ổn định), Declining (giảm sút) theo từng chỉ báo, kỹ năng và năng lực cụ thể.

FR-09: Confidence Estimation

AI ước lượng độ tin cậy của đánh giá năng lực dựa trên: Số lượng bằng chứng thu thập, mức độ đa dạng của nguồn bằng chứng, độ phủ của bài kiểm tra, độ mới của bằng chứng, và mức độ đồng thuận giữa các lần đánh giá.

FR-10: Recommendation Engine

AI tự động đề xuất thứ tự kỹ năng cần ưu tiên học tập tiếp theo, nhiệm vụ học tập cụ thể, chiến lược học tập tối ưu, và tài liệu tham khảo phù hợp.

FR-11: Explanation

Mỗi đề xuất học tập đưa ra đều phải đi kèm lời giải thích rõ ràng: Đề xuất dựa trên bằng chứng nào, chỉ báo năng lực nào đang bị thiếu hụt và lý do lựa chọn hành động đó.

7. Non-functional Requirements

• Tính giải thích được (Explainability): Mọi kết luận của AI về trình độ hay đề xuất học tập đều phải truy vết được về các bằng chứng thô trong lịch sử nộp bài.
• Tính minh bạch (Transparency): Người học và Mentor phải hiểu được rõ ràng logic tại sao AI lại xếp hạng năng lực của họ ở cấp độ đó.
• Khả năng kiểm toán (Auditability): Mọi phiên đánh giá năng lực phải ghi nhận đầy đủ mốc thời gian, phiên bản Rubric sử dụng, và phiên bản AI model thực thi.
• Khả năng mở rộng (Extensibility): Kiến trúc hệ thống cho phép tích hợp thêm nhiều loại bằng chứng mới (như portfolio, mã nguồn GitHub, video thuyết trình, mentor review) mà không cần thay đổi cấu trúc lõi.

8. Learner Model Structure

Xem cấu trúc dữ liệu mô hình người học mẫu

• Miền năng lực (Competencies):
  • Ví dụ: Product Thinking, AI Literacy, Communication.
• Mảng kỹ năng (Skills):
  • Ví dụ: JTBD Analysis, Copywriting, Wireframing.
• Chỉ báo hành vi (Indicators):
  • Ví dụ: Identify Persona, Identify Jobs, Identify Pains.
• Meta Metrics:
  • Confidence Score, Trend, Priority, Last Updated.

9. Data Flow

Evidence (Bằng chứng thô)
   │
   ▼
Assessment Engine (AI)
   │
   ▼
Indicator Scores
   │
   ▼
Skill Scores
   │
   ▼
Competency Profile
   │
   ▼
Knowledge Gap Analysis
   │
   ▼
Next Action Recommendation
   │
   ▼
Learner Action ➔ New Evidence Loop

10. AI Components

• Assessment Agent: Đọc bằng chứng học tập ➔ So sánh với Rubric ➔ Sinh điểm chỉ báo và diễn giải.
• Learner Model Agent: Tính toán tích lũy, cập nhật liên tục mô hình người học (Digital Twin).
• Recommendation Agent: Phân tích gap và đề xuất chiến lược học tập tiếp theo.
• Explanation Agent: Giải thích lý do và logic đằng sau các đề xuất sư phạm.

11. Data Model Relationship

Evidence ➔ Assessment Snapshot ➔ Learner Model ➔ Recommendation

12. Success Metrics

• Độ chính xác của đánh giá (Assessment Accuracy): Tỷ lệ trùng khớp cao giữa kết quả đánh giá của AI và đánh giá thủ công của Mentor chuyên gia.
• Hiệu chỉnh độ tự tin (Confidence Calibration): Độ tự tin của AI phải tương quan thuận với tỷ lệ làm đúng thực tế của học viên.
• Tỷ lệ chấp nhận đề xuất (Recommendation Acceptance): Học viên thực hiện theo các tác vụ tiếp theo do AI đề xuất đạt tỷ lệ cao.

13. Future Roadmap

• Phase 1 (Hackathon MVP): Chạy thử nghiệm với các bài Quiz trắc nghiệm, đánh giá chỉ báo tự động, cập nhật Learner Model cơ bản và đề xuất tác vụ tiếp theo.
• Phase 2: Tích hợp các bài viết tự phản hồi (Reflection), đánh giá sản phẩm thực hành và Portfolio của học viên.
• Phase 3: Phát hiện ngộ nhận tư duy chuyên sâu, áp dụng mô hình toán học Bayesian Learner Modeling và thuật toán Knowledge Tracing.
• Phase 4: Cá nhân hóa lộ trình thích ứng hoàn toàn (Adaptive Paths) bằng học tăng cường (Reinforcement Learning) và tối ưu hóa hệ thống Multi-Agent.

14. Out of Scope (Hackathon MVP)

Các tính năng sau sẽ tạm thời không triển khai trong khuôn khổ Hackathon:

• Fine-tuning các mô hình ngôn ngữ lớn riêng biệt.
• Triển khai thuật toán Học tăng cường (Reinforcement Learning) hoàn chỉnh.
• Mô hình hóa mạng Bayesian đầy đủ quy mô lớn.
• Đánh giá trực tiếp qua video và giọng nói của học viên.
• Tự động sinh Rubrics chấm điểm từ đầu bằng AI.

15. Core Design Principles

1. AI-First: AI là trái tim xử lý và đưa ra quyết định, không đơn thuần là một tính năng cộng thêm (AI-as-a-feature).
2. Evidence is Truth: Mọi kết luận năng lực đều phải dựa trên bằng chứng thực tế, không dựa trên cảm tính.
3. Rubrics are Standards: Rubric là thước đo chuẩn mực duy nhất để đối chiếu năng lực.
4. Continuous Update: Learner Model là thực thể động, phải liên tục cập nhật khi có bất kỳ bằng chứng mới nào được ghi nhận.