Hướng dẫn dùng AI

Viết test cho ứng dụng gọi mô hình AI

Ứng dụng gọi mô hình AI khó thử theo cách thông thường: mỗi lần gọi tốn tiền, chậm, và câu trả lời có thể khác nhau giữa các lần. Nếu vì vậy mà không viết test, lỗi đơn giản như không xử lý câu trả lời sai định dạng sẽ lọt ra người dùng. Bài này trình bày ba cách thử nhanh, không tốn tiền (client giả, ghi rồi phát lại, soát tính chất), và vì sao đo chất lượng mô hình là một việc riêng.

Ý chính
  • Test code (chương trình xử lý đúng mọi loại phản hồi) khác với đo chất lượng (mô hình trả lời có đúng không). Làm cả hai, nhưng tách riêng.
  • Client giả trả lời cố định giúp thử phần code xung quanh: ghép prompt, đọc kết quả, xử lý lỗi. Chạy nhanh, không tốn tiền, không cần khóa API.
  • Ghi rồi phát lại: gọi thật một lần, lưu phản hồi vào tệp, các lần sau đọc từ tệp. Phản hồi thật mà vẫn rẻ và ổn định.
  • Với câu trả lời có thể khác nhau, kiểm tính chất (đúng JSON, đủ trường, nhãn hợp lệ, độ dài) thay vì so nguyên văn.

Bài này dựa trên tài liệu unittest.mock của Python, trang tham số hóa test của pytest, và trang Unit testing của LangChain (đọc ngày 11/11/2026), cùng cách làm đã dùng xuyên suốt các bài trong loạt này.

Vì sao khó, và vì sao vẫn phải làm

Ba điều làm việc thử ứng dụng AI khác thường. Gọi thật tốn tiền và cần khóa API, nên không thể chạy hàng trăm lần mỗi ngày. Gọi thật chậm, có khi vài giây mỗi lần. Và mô hình có thể diễn đạt khác nhau giữa các lần, nên so khớp nguyên văn sẽ lúc đúng lúc sai.

Nhưng phần lớn lỗi trong ứng dụng AI không nằm ở mô hình mà ở code xung quanh: quên xử lý khi mô hình trả về chữ thay vì JSON, quên trường hợp bị cắt vì giới hạn token, lỗi khi ghép lịch sử hội thoại, không bắt lỗi mạng. Những lỗi này thử được, nhanh và rẻ, nếu tách được mô hình ra.

Client giả

Thiết kế code sao cho đối tượng gọi mô hình được truyền vào, thay vì tạo cứng bên trong hàm. Khi chạy thật, truyền client của thư viện; khi thử, truyền một client giả có cùng hình dạng: một phương thức tạo tin nhắn trả về phản hồi có khối chữ và lý do dừng. Client giả trả lần lượt các câu trả lời bạn soạn sẵn, gồm cả những câu khó chịu: JSON hỏng, thiếu trường, chuỗi rỗng, lý do dừng là bị cắt. Nó cũng ghi lại các tham số được gửi để bạn kiểm prompt có đúng không.

Thư viện chuẩn của Python có unittest.mock để thay đối tượng khi thử, và trang tài liệu LangChain mô tả cách dùng mô hình giả trong bộ nhớ để kịch bản hóa chữ, lời gọi công cụ và lỗi. Một lớp nhỏ tự viết như trong bài là đủ cho phần lớn trường hợp và dễ đọc hơn.

Thử ứng dụng gọi mô hình Nhanh, không tốn tiền, chạy mỗi lần sửa code Client giảTrả lời cố địnhthử code xung quanh Ghi rồi phát lạiGọi thật một lầnlưu tệp, chạy lại Soát tính chấtJSON, trường, độ dàikhông so nguyên văn Bộ đánh giáChất lượng thậtchạy riêng, có tốn phí Thử code và đo chất lượng mô hình là hai việc khác nhau
Thử ứng dụng gọi mô hình Client giảTrả lời cố địnhthử code xung quanh Ghi rồi phát lạiGọi thật một lầnlưu tệp, chạy lại Soát tính chấtJSON, trường, độ dàikhông so nguyên văn Bộ đánh giáChất lượng thậtchạy riêng, có tốn phí Thử code và đo chất lượng mô hình là hai việc khác nhau
Hình 1. Thử ứng dụng gọi mô hình, nhanh, không tốn tiền, chạy mỗi lần sửa code: client giả trả lời cố định để thử code xung quanh; ghi rồi phát lại, gọi thật một lần, lưu tệp, chạy lại; soát tính chất như JSON, trường, độ dài, không so nguyên văn; bộ đánh giá đo chất lượng thật, chạy riêng và có tốn phí. Thử code và đo chất lượng mô hình là hai việc khác nhau.

Ghi rồi phát lại

Client giả dùng câu trả lời bạn tự soạn, nên có thể khác xa phản hồi thật. Cách bổ sung là ghi rồi phát lại: ở chế độ ghi, client gọi mô hình thật và lưu chữ trả về cùng lý do dừng vào một tệp JSON, theo một khóa băm của toàn bộ tham số yêu cầu; ở chế độ phát, client chỉ đọc tệp. Lý do dừng phải được ghi cùng: một câu thật bị cắt vì giới hạn token hay bị từ chối, khi phát lại vẫn là bị cắt hay bị từ chối, nên test bắt được hai trường hợp này. Khi prompt đổi, khóa đổi, và chế độ phát báo rõ là thiếu bản ghi, nhắc bạn ghi lại. Tệp bản ghi được lưu cùng mã nguồn, nên ai chạy test cũng nhận cùng kết quả mà không cần khóa API. Cách này đặc biệt hợp với các bài tập nhóm: một người có khóa ghi bản ghi một lần, cả nhóm chạy test bằng bản ghi đó, không ai phải chia sẻ khóa.

Soát tính chất

Khi so với phản hồi thật thay đổi theo thời gian, đừng so nguyên văn. Hãy kiểm những tính chất chương trình cần: đọc được JSON, có đủ trường bắt buộc, nhãn nằm trong danh sách cho phép (không phân biệt hoa thường), độ dài trong giới hạn, không chứa thông tin cấm. Các kiểm này vẫn đúng dù mô hình diễn đạt khác.

Ví dụ bằng Python

Chương trình mẫu có lớp client giả, lớp ghi rồi phát lại, hàm soát tính chất cho một bài phân loại góp ý, và hàm phân loại cần thử. Phần chạy thử đưa vào ba câu trả lời giả.

"""Ba cách thử ứng dụng gọi mô hình AI mà không tốn tiền mỗi lần chạy:

1. ClientGia: trả lời cố định, để thử phần code xung quanh (ghép prompt, xử lý lỗi, định dạng kết quả).
2. Ghi rồi phát lại: lần đầu gọi thật và GHI phản hồi (chữ và lý do dừng) vào tệp JSON theo khóa băm của yêu cầu;
   các lần sau PHÁT LẠI từ tệp.
3. soat_thuoc_tinh: kiểm TÍNH CHẤT của câu trả lời (đúng JSON, đủ trường, không quá dài...) thay vì so nguyên văn,
   vì mô hình có thể diễn đạt khác nhau mỗi lần.
"""
import hashlib
import json
import os
from types import SimpleNamespace as NS


class ClientGia:
    """Mỗi câu trả lời soạn sẵn là một chuỗi (lý do dừng "end_turn") hoặc một cặp (chuỗi, lý do dừng), để giả cả câu
    bị cắt vì giới hạn token ("max_tokens") hay bị từ chối ("refusal")."""

    def __init__(self, tra_loi):
        self.tra_loi, self.goi = list(tra_loi), []
        self.messages = self

    def create(self, **kw):
        self.goi.append(kw)
        tl = self.tra_loi.pop(0)
        chu, ly_do = tl if isinstance(tl, tuple) else (tl, "end_turn")
        return NS(content=[NS(type="text", text=chu)], stop_reason=ly_do)


def khoa(tham_so):
    return hashlib.sha256(json.dumps(tham_so, sort_keys=True, ensure_ascii=False).encode()).hexdigest()[:16]


class ClientGhiPhat:
    """che_do 'ghi': gọi client thật rồi lưu; 'phat': chỉ đọc tệp, thiếu bản ghi thì báo lỗi rõ ràng."""

    def __init__(self, tep, che_do="phat", client_that=None):
        self.tep, self.che_do, self.client_that = tep, che_do, client_that
        self.du_lieu = json.load(open(tep, encoding="utf-8")) if os.path.exists(tep) else {}
        self.messages = self

    def create(self, **kw):
        k = khoa(kw)
        if self.che_do == "ghi":
            tl = self.client_that.messages.create(**kw)
            # Ghi cả lý do dừng: câu thật bị cắt ("max_tokens") hay bị từ chối ("refusal") phát lại vẫn đúng như vậy.
            self.du_lieu[k] = {"chu": "".join(b.text for b in tl.content if b.type == "text"), "ly_do_dung": tl.stop_reason}
            with open(self.tep, "w", encoding="utf-8") as f:
                json.dump(self.du_lieu, f, ensure_ascii=False, indent=1)
        elif k not in self.du_lieu:
            raise KeyError(f"Chưa có bản ghi cho yêu cầu {k}; chạy lại ở chế độ ghi.")
        ban = self.du_lieu[k]
        return NS(content=[NS(type="text", text=ban["chu"])], stop_reason=ban["ly_do_dung"])


def soat_thuoc_tinh(chu, truong_bat_buoc=("nhan", "ly_do"), nhan_hop_le=("khen", "chê", "góp ý", "hỏi"), toi_da=300):
    """Trả về danh sách vấn đề; rỗng là đạt."""
    try:
        d = json.loads(chu)
    except json.JSONDecodeError:
        return ["không phải JSON"]
    van_de = [f"thiếu trường {t}" for t in truong_bat_buoc if t not in d]
    if "nhan" in d and str(d["nhan"]).lower() not in nhan_hop_le:
        van_de.append(f"nhãn lạ: {d['nhan']}")
    if len(chu) > toi_da:
        van_de.append(f"dài {len(chu)} ký tự")
    return van_de


def phan_loai(client, cau):
    """Đoạn code CẦN thử: gọi mô hình, xem lý do dừng, đọc JSON, đưa nhãn về chữ thường."""
    # Haiku 5.5 bật suy nghĩ sẵn và token suy nghĩ tính vào max_tokens, nên giới hạn nhỏ có thể hết ngay trong phần
    # suy nghĩ; việc phân loại ngắn: để 2048 kèm effort thấp.
    tl = client.messages.create(model="claude-haiku-5-5", max_tokens=2048, output_config={"effort": "low"},
                                messages=[{"role": "user", "content": f"Phân loại góp ý, trả JSON có nhan, ly_do: {cau}"}])
    if tl.stop_reason != "end_turn":  # bị cắt ("max_tokens") hay bị từ chối ("refusal"): không đọc nửa câu
        raise RuntimeError(f"Mô hình dừng vì {tl.stop_reason}, câu trả lời chưa trọn")
    chu = "".join(b.text for b in tl.content if b.type == "text")
    return json.loads(chu)["nhan"].lower(), soat_thuoc_tinh(chu)


def chay_thu():
    dong = []
    c = ClientGia(['{"nhan": "Khen", "ly_do": "hài lòng"}', '{"nhan": "vui"}', 'Xin lỗi, tôi không chắc'])
    dong.append(f"Client giả, câu 1: {phan_loai(c, 'Thầy dạy hay')}")
    dong.append(f"Client giả, câu 2: {phan_loai(c, 'Hôm nay vui')}")
    try:
        phan_loai(c, "???")
    except json.JSONDecodeError:
        dong.append("Client giả, câu 3: phát hiện code chưa xử lý câu trả lời không phải JSON")
    print("\n".join(dong))
    return dong


if __name__ == "__main__":
    chay_thu()

Câu một là JSON đúng với nhãn viết hoa: hàm phân loại đưa về chữ thường và không có vấn đề nào. Câu hai thiếu trường lý do và có nhãn lạ: hàm soát liệt kê đúng hai vấn đề. Câu ba là một câu xin lỗi thay vì JSON: hàm phân loại báo lỗi đọc JSON. Đây chính là loại lỗi test cần tìm ra: code hiện tại chưa xử lý trường hợp mô hình không trả JSON, cần thêm nhánh xử lý hoặc dùng đầu ra có cấu trúc. Hàm phân loại xem lý do dừng trước khi đọc chữ: mô hình trong ví dụ mặc định suy nghĩ trước khi trả lời và phần suy nghĩ tính vào giới hạn token, nên giới hạn để rộng, và câu bị cắt hay bị từ chối thì báo lỗi rõ thay vì đọc nửa câu. Bộ thử đi kèm còn kiểm khóa băm ổn định, ghi một lần rồi phát lại không gọi lại client thật, và một câu bị cắt khi phát lại vẫn được nhận ra là bị cắt.

Danh sách tình huống nên có

Một bộ test tối thiểu cho ứng dụng gọi mô hình nên có các tình huống sau, mỗi tình huống là một câu trả lời giả hoặc một lỗi giả. Câu trả lời đúng định dạng, để chắc luồng chính chạy. Câu trả lời sai định dạng: JSON hỏng, thiếu trường, sai kiểu. Câu trả lời rỗng. Lý do dừng là bị cắt vì giới hạn token. Lý do dừng là mô hình từ chối. Lỗi giới hạn tốc độ và lỗi quá tải, để kiểm có thử lại đúng chỗ không. Lỗi mạng, để kiểm thông báo cho người dùng. Đầu vào của người dùng rỗng, quá dài, có ký tự lạ.

Với mỗi tình huống, xác định trước chương trình phải làm gì: thử lại, báo lỗi rõ ràng, trả về giá trị mặc định, hay chuyển cho người xử lý. Viết điều đó vào test. Danh sách này cũng là tài liệu sống: người mới vào nhóm đọc test là biết ứng dụng xử lý những trường hợp nào. Mỗi khi gặp một lỗi thật ngoài dự kiến, thêm đúng phản hồi gây lỗi đó vào danh sách, sửa code cho tới khi test qua; lỗi đó sẽ không quay lại mà không ai biết.

Tham số hóa và chạy tự động

Mỗi loại phản hồi khó chịu là một trường hợp thử. Trang tài liệu pytest hướng dẫn tham số hóa để chạy cùng một hàm thử với nhiều đầu vào, gọn hơn viết từng hàm. Đặt các test này chạy tự động mỗi khi đẩy code lên kho, như trong bài GitHub Actions cho dự án AI: vì không gọi mạng, chúng chạy vài giây và không cần lưu khóa API trong hệ thống chạy tự động.

Với dịch vụ web, cùng ý tưởng áp dụng ở tầng cao hơn: thay hàm tạo client bằng client giả khi thử, như bài FastAPI cho AI đã làm.

Đo chất lượng là việc riêng

Mọi cách trên kiểm code, không kiểm mô hình. Câu hỏi "mô hình phân loại đúng bao nhiêu phần trăm" cần một bộ đánh giá: nhiều câu có đáp án, gọi mô hình thật, chấm điểm. Bộ đánh giá chạy chậm và tốn tiền, nên chạy khi đổi prompt hay đổi mô hình, không chạy mỗi lần sửa một dòng code. Cách dựng có trong bài đánh giá câu trả lời AI. Thêm vài test tích hợp gọi mô hình thật, chạy định kỳ, để phát hiện khi phản hồi thật đã lệch khỏi những gì client giả giả định.

Cẩn thận
  • Không viết test vì nghĩ mô hình là thứ không thử được.
  • Test gọi mô hình thật mỗi lần chạy, chậm, tốn tiền, cần khóa trong hệ thống chạy tự động.
  • So nguyên văn câu trả lời của mô hình rồi thấy test lúc đúng lúc sai.
  • Client giả chỉ trả câu trả lời đẹp, không có JSON hỏng hay bị cắt.
  • Coi test code qua là mô hình trả lời đúng.

Câu hỏi thường gặp

Có cần thư viện riêng để giả lập không?

Không bắt buộc. Một lớp nhỏ có cùng hình dạng với client thật là đủ cho phần lớn ứng dụng.

Tệp bản ghi có nên đưa lên kho không?

Có, nếu không chứa dữ liệu nhạy cảm. Kiểm kỹ trước khi đẩy lên kho công khai.

Khi nào ghi lại bản ghi?

Khi đổi prompt, đổi mô hình, hoặc định kỳ để thấy phản hồi thật đã thay đổi thế nào.

Test có thay được việc đọc câu trả lời bằng mắt không?

Không. Đọc một mẫu câu trả lời thật vẫn cần, nhất là sau mỗi thay đổi lớn. Test bắt lỗi đã biết; mắt người bắt những điều bất thường chưa ai nghĩ tới, như giọng văn lạ hay thông tin thừa.

Học tiếp

Nếu bạn muốn học Python và AI bài bản cùng giảng viên, tham khảo khóa học AI của Big-O Coding.

Muốn học bài bản cùng giảng viên?

Khóa AI – Introduction to Machine Learning: nền tảng Máy học từ thuật toán cơ bản đến Neural Networks và LLM, học bằng Python. Học thử buổi 1 miễn phí.

Xem Khóa AI

Nguồn tham khảo

Chia sẻ: Facebook LinkedIn
Nhắn Zalo tư vấnZalo Gọi 0937 401 483