AI Inference Layer: Overview & Architecture

Hệ thống Hanoi Agents được thiết kế theo tư duy AI-First. Lớp suy luận (AI Inference Layer) chịu trách nhiệm phân tích bài làm của học viên, chấm điểm theo Rubric, phát hiện lỗ hổng kiến thức và ngộ nhận tư duy.

---

1. Overview of AI-First Infrastructure

Để đảm bảo hiệu năng và tốc độ xử lý tối ưu, chúng tôi thiết kế lớp suy luận chạy serverless hoàn toàn:

• Decoupled Architecture: Các Agent và Workflow chỉ đưa ra yêu cầu suy luận dạng Text, không cần quan tâm đến mô hình AI cụ thể chạy phía sau.
• Cost Optimization: Kết hợp linh hoạt giữa các mô hình mã nguồn mở chạy miễn phí/giá rẻ trên hạ tầng Cloudflare Workers AI và các mô hình thương mại cao cấp chạy qua AI Gateway.
• Observability: Mọi cuộc gọi AI đều được ghi nhật ký (Log), theo dõi chi phí (tokens) và đo lường độ trễ (latency).

---

2. Supplier Abstraction: ModelProvider Interface

Chúng tôi xây dựng một interface trừu tượng chung cho việc gọi LLM, cho phép hoán đổi nhà cung cấp bất kỳ lúc nào mà không làm ảnh hưởng đến mã nguồn nghiệp vụ của Agent:

export interface ModelInput {
  systemPrompt: string;
  userPrompt: string;
  temperature?: number;
}

export interface ModelOutput {
  text: string;
  usage: {
    promptTokens: number;
    completionTokens: number;
  };
}

export interface ModelProvider {
  generate(input: ModelInput): Promise<ModelOutput>;
}

Lớp trừu tượng này giúp các nhà phát triển dễ dàng kiểm thử hiệu quả giữa các mô hình khác nhau (chạy thử Llama 3 cục bộ vs gọi API GPT-4/Claude) chỉ bằng một dòng cấu hình biến môi trường.