- Giá giữa mô hình nhỏ và mô hình lớn chênh nhiều chục lần. Nếu phần lớn câu hỏi dễ, chuyển chúng sang mô hình nhỏ giảm chi phí đáng kể.
- Hai cách: phân loại độ khó trước rồi chọn mô hình, hoặc thử mô hình nhỏ trước rồi leo thang lên mô hình lớn khi nó không chắc.
- Tài liệu của Anthropic gợi ý một hướng bắt đầu: làm với mô hình nhỏ, đo kỹ, chỉ nâng lên khi thiếu khả năng cụ thể. Bộ đo tốt là bước quan trọng nhất.
- Rủi ro lớn nhất: mô hình nhỏ trả lời sai mà vẫn tự tin. Cần bộ đo và theo dõi chất lượng theo từng mô hình.
Bài này dựa trên trang Choosing the right model và Models overview trong tài liệu của Anthropic (đọc ngày 11/11/2026, xem lại giá ngày 15/11/2026), cùng bài báo RouteLLM của Ong và cộng sự (2024) về học cách định tuyến giữa mô hình mạnh và mô hình rẻ.
Vì sao định tuyến
Theo giá ngày 15/11/2026, Claude Opus 5.5 có giá 4 USD mỗi triệu token đầu vào và 20 USD mỗi triệu token đầu ra; Claude Haiku 5.5 là 0,10 và 0,50 USD với prompt tới 100.000 token, rẻ hơn 40 lần. Trong nhiều ứng dụng học tập, phần lớn câu hỏi là tra cứu đơn giản: cú pháp, ý nghĩa một hàm, sửa một lỗi gõ nhầm. Trả tiền mô hình mạnh nhất cho những câu đó là lãng phí.
Trang chọn mô hình của Anthropic nêu bốn yếu tố cân nhắc: khả năng cần có, tốc độ, chi phí, và mức nỗ lực suy nghĩ (một số mô hình có tham số effort đổi trí tuệ lấy tốc độ và chi phí ngay trong một mô hình, thường là đòn bẩy tốt hơn đổi mô hình). Trang cũng mô tả các chiến lược nhiều mô hình: ghép một mô hình rẻ với một mô hình mạnh để phần lớn token được tính ở giá thấp.
Hai cách định tuyến
Phân loại trước. Một bộ phân loại xem câu hỏi rồi chọn mô hình. Bộ phân loại có thể là vài quy tắc (câu có chữ "chứng minh", "tối ưu", "thiết kế", có đoạn code, quá dài thì coi là khó), hoặc một mô hình nhỏ phân loại như trong bài phân loại văn bản bằng mô hình ngôn ngữ, hoặc một mô hình được huấn luyện riêng để định tuyến như hướng của RouteLLM. Ưu điểm: mỗi câu chỉ gọi một mô hình trả lời. Nhược điểm: phân loại sai thì câu khó vào mô hình nhỏ.
Thử nhỏ rồi leo thang. Gửi mọi câu tới mô hình nhỏ trước, dặn nó báo rõ khi không chắc. Nếu nó báo không chắc (hoặc câu trả lời không qua một bước kiểm, ví dụ code không chạy được), gửi lại cho mô hình lớn. Ưu điểm: không cần bộ phân loại riêng. Nhược điểm: câu khó tốn hai lần gọi, và mô hình nhỏ không phải lúc nào cũng biết mình sai.
Hai cách kết hợp được: quy tắc chặn sớm câu rõ ràng khó, còn lại đi đường thử nhỏ rồi leo thang.
Ví dụ bằng Python
Chương trình mẫu có hàm do_kho theo vài quy tắc đơn giản, hàm chon_mo_hinh, hàm tra_loi_co_leo_thang (câu khó đi thẳng mô hình lớn; câu dễ hỏi mô hình nhỏ với lời dặn trả về một dấu hiệu khi không chắc, gặp dấu hiệu thì hỏi lại mô hình lớn), và hàm tính chi phí. Hàm gọi mô hình được truyền vào làm tham số nên thử được không cần mạng.
"""Định tuyến mô hình: câu dễ cho mô hình nhỏ rẻ, câu khó cho mô hình lớn; và leo thang khi mô hình nhỏ không chắc.
- do_kho: quy tắc đơn giản để chia dễ / khó (ví dụ; thay bằng quy tắc hợp với ứng dụng của bạn, hoặc một mô hình nhỏ phân loại).
- tra_loi_co_leo_thang: hỏi mô hình nhỏ trước; nếu câu trả lời báo không chắc thì hỏi lại mô hình lớn.
- chi_phi: so ba cách (toàn mô hình lớn, toàn mô hình nhỏ, định tuyến) theo giá xem lại 15/11/2026. Token ra
là toàn bộ token đầu ra mỗi câu: phần suy nghĩ (Opus 5.5 không tắt được suy nghĩ, Haiku 5.5 bật theo mặc
định; token suy nghĩ tính tiền như token đầu ra dù không hiện ra) cộng chữ trả lời.
"""
import re
GIA = {"claude-opus-5-5": (4.0, 20.0), "claude-haiku-5-5": (0.10, 0.50)} # USD / 1 triệu token (vào, ra)
# Haiku 5.5: giá cho prompt tới 100.000 token. Đầu ra mỗi câu giả định 1000 token: chữ trả lời khoảng 300
# token cộng phần suy nghĩ. Chạy thật thì lấy usage.output_tokens trong phản hồi.
TOKEN_RA = 1000
NHO, LON = "claude-haiku-5-5", "claude-opus-5-5"
TU_KHO = ("chứng minh", "tối ưu", "độ phức tạp", "thiết kế", "so sánh", "vì sao", "tại sao", "phân tích")
DAU_KHONG_CHAC = "[KHÔNG CHẮC]"
HE_THONG_NHO = (f"Trả lời ngắn gọn. Nếu câu hỏi cần suy luận nhiều bước hoặc bạn không chắc đúng, "
f"chỉ trả lời đúng một dòng: {DAU_KHONG_CHAC}")
def do_kho(cau):
c = cau.lower()
if "```" in cau or len(cau.split()) > 60 or any(t in c for t in TU_KHO):
return "khó"
return "dễ"
def chon_mo_hinh(cau):
return LON if do_kho(cau) == "khó" else NHO
def tra_loi_co_leo_thang(goi, cau):
"""goi(mo_hinh, he_thong, cau) -> chữ. Trả về (câu trả lời, mô hình đã dùng cuối cùng, số lần gọi)."""
mo_hinh = chon_mo_hinh(cau)
if mo_hinh == LON:
return goi(LON, "", cau), LON, 1
tl = goi(NHO, HE_THONG_NHO, cau)
if DAU_KHONG_CHAC in tl:
return goi(LON, "", cau), LON, 2
return tl, NHO, 1
def chi_phi(mo_hinh, so_cau, vao, ra):
gv, gr = GIA[mo_hinh]
return so_cau * (vao * gv + ra * gr) / 1e6
def chay_thu():
cau = ["Hàm len làm gì?", "In ra số chẵn từ 1 đến 10 thế nào?",
"Vì sao thuật toán này có độ phức tạp O(n log n)?", "Thiết kế lớp cho hệ thống quản lý thư viện"]
dong = [f"'{c}': {do_kho(c)} -> {chon_mo_hinh(c)}" for c in cau]
n, vao, ra = 1000, 500, TOKEN_RA
lon, nho = chi_phi(LON, n, vao, ra), chi_phi(NHO, n, vao, ra)
dinh_tuyen = chi_phi(NHO, 800, vao, ra) + chi_phi(LON, 200, vao, ra)
dong.append(f"1000 câu (500 token vào, {ra} ra gồm cả suy nghĩ): toàn {LON} {lon:.2f} USD, "
f"toàn {NHO} {nho:.2f} USD, "
f"định tuyến 80/20 {dinh_tuyen:.2f} USD")
print("\n".join(dong))
return dong
if __name__ == "__main__":
chay_thu()
Với bốn câu mẫu, hai câu tra cứu đơn giản vào Haiku 5.5, hai câu có "vì sao" và "thiết kế" vào Opus 5.5. Phần chi phí: 1.000 câu, mỗi câu 500 token vào và khoảng 1.000 token ra kể cả phần suy nghĩ, toàn Opus 5.5 tốn 22,00 USD, toàn Haiku 5.5 tốn 0,55 USD, định tuyến với giả định 80% câu dễ tốn 4,84 USD, tức khoảng 22% so với toàn mô hình lớn. Con số thật phụ thuộc tỷ lệ câu dễ trong ứng dụng của bạn và tỷ lệ leo thang.
Vì sao lấy 1.000 token ra mỗi câu, trong khi chữ trả lời chỉ khoảng 300 token? Với Opus 5.5, chế độ suy nghĩ luôn bật và không tắt được; Haiku 5.5 cũng suy nghĩ khi để mặc định. Mô hình tự quyết định nghĩ nhiều hay ít cho từng câu, và theo trang Steering thinking của Anthropic, phần suy nghĩ được tính tiền theo giá token đầu ra, kể cả khi phản hồi không hiện nội dung suy nghĩ. Vì vậy số token đầu ra phải trả tiền thường lớn hơn nhiều so với độ dài chữ trả lời: trong ví dụ chạy thật trên trang đó, Opus 5.5 ở mức effort mặc định dùng 1.033 và 1.630 token đầu ra cho hai câu hỏi về cùng một đoạn văn. Tỷ lệ 22% thì không đổi theo giả định này, miễn là hai mô hình dùng cùng số token, vì giá vào và giá ra của Haiku 5.5 đều bằng một phần bốn mươi giá của Opus 5.5. Thực tế câu khó thường kéo theo nhiều token suy nghĩ hơn câu dễ, nên phần trả cho mô hình lớn có thể nặng hơn; khi chạy thật, đọc số token đầu ra trong từng phản hồi và đưa vào hàm chi_phi để tính lại.
Quy tắc trong code chỉ là ví dụ để thấy cơ chế. Quy tắc theo từ khóa dễ sai: "vì sao biến này là None" có chữ "vì sao" nhưng là câu dễ. Trong ứng dụng thật, đo bộ phân loại trên câu hỏi thật như mọi bộ phân loại khác.
Đo trước khi tin
Trang chọn mô hình của Anthropic nhấn mạnh: để biết có cần đổi mô hình không, hãy dựng bộ thử riêng cho trường hợp của bạn, và gọi đó là bước quan trọng nhất; thử với prompt và dữ liệu thật; so độ chính xác, chất lượng, cách xử lý trường hợp biên giữa các mô hình; rồi cân hiệu năng với chi phí. Với định tuyến, đo thêm ba thứ: tỷ lệ câu được gửi tới mỗi mô hình, độ chính xác của mô hình nhỏ trên những câu nó nhận, và tỷ lệ câu khó bị phân loại nhầm thành dễ. Cách dựng bộ đo có trong bài đánh giá câu trả lời AI.
Trang tài liệu gợi ý một cách bắt đầu theo hướng tiết kiệm: làm với Haiku 5.5, thử kỹ, xem có đạt yêu cầu không, chỉ nâng cấp khi thiếu khả năng cụ thể. Ngược lại, với việc phức tạp, có thể bắt đầu bằng mô hình mạnh để biết mức chất lượng tối đa, rồi thử hạ xuống mô hình rẻ hơn.
Một ứng dụng mẫu: trợ giảng lập trình
Thử áp dụng cho một trợ giảng lập trình phục vụ một lớp học. Câu hỏi đến có ba nhóm: tra cú pháp và hàm (nhiều nhất), sửa lỗi trong đoạn code ngắn, và câu hỏi khái niệm, thiết kế, thuật toán. Một thiết kế hợp lý: nhóm một vào mô hình nhỏ; nhóm hai vào mô hình nhỏ với lời dặn báo không chắc khi lỗi không rõ, và kiểm bằng cách chạy lại đoạn code đã sửa nếu được; nhóm ba vào mô hình lớn.
Tuần đầu, chạy song song: mọi câu đều được cả hai mô hình trả lời, giáo viên chấm một mẫu nhỏ. Từ đó biết mô hình nhỏ đúng bao nhiêu phần trên từng nhóm, rồi mới bật định tuyến thật. Sau khi bật, theo dõi hằng tuần tỷ lệ leo thang và các câu học sinh phản hồi là sai; nếu một loại câu hay sai ở mô hình nhỏ, chuyển loại đó sang mô hình lớn; nếu mô hình nhỏ làm tốt hơn mong đợi, mở rộng phần việc của nó.
Rủi ro
Mô hình nhỏ có thể trả lời sai một cách tự tin, và dấu hiệu "không chắc" không phải lúc nào cũng xuất hiện khi cần. Với câu hỏi có hậu quả (điểm số, học phí, quy chế), cân nhắc luôn dùng mô hình mạnh hoặc thêm bước kiểm. Định tuyến cũng làm hệ thống phức tạp hơn: hai mô hình, hai bộ chỉ dẫn, hai đường lỗi. Với ứng dụng nhỏ, chi phí API hàng tháng thấp, một mô hình duy nhất có thể là lựa chọn hợp lý hơn. Trước khi định tuyến, thử các cách rẻ khác: prompt caching, rút gọn chỉ dẫn, giới hạn độ dài câu trả lời.
- Định tuyến theo cảm giác, không có bộ đo cho từng mô hình.
- Tin rằng mô hình nhỏ luôn biết khi nào nó sai.
- Gửi câu hỏi có hậu quả lớn cho mô hình nhỏ mà không kiểm.
- Thêm định tuyến khi chi phí còn nhỏ, làm hệ thống phức tạp không cần thiết.
- Quên tính chi phí của bước phân loại và các lần leo thang, hoặc quên token suy nghĩ cũng tính tiền như token đầu ra.
Câu hỏi thường gặp
Dùng mô hình nào để phân loại?
Mô hình nhỏ nhất đạt độ chính xác đủ trên bộ câu hỏi của bạn. Với vài loại rõ ràng, quy tắc đơn giản có thể đủ.
Leo thang có làm chậm không?
Câu bị leo thang chịu thêm một lần gọi. Nếu tỷ lệ leo thang cao, nên chuyển sang phân loại trước.
Có công cụ định tuyến làm sẵn không?
Có các thư viện và dịch vụ, cùng nghiên cứu như RouteLLM. Hiểu cơ chế trước giúp bạn đánh giá chúng.
Đổi mức effort thay vì đổi mô hình được không?
Theo trang chọn mô hình, điều chỉnh mức nỗ lực trên mô hình hỗ trợ thường là đòn bẩy tốt hơn đổi mô hình. Thử cả hai.
Học tiếp
- Dựng bộ đo cho từng mô hình: đánh giá câu trả lời AI.
- Bộ phân loại bằng mô hình nhỏ: phân loại văn bản bằng mô hình ngôn ngữ.
- Giảm chi phí theo cách khác: prompt caching.
Nếu bạn muốn học Python và AI bài bản cùng giảng viên, tham khảo khóa học AI của Big-O Coding.
Khóa AI – Introduction to Machine Learning: nền tảng Máy học từ thuật toán cơ bản đến Neural Networks và LLM, học bằng Python. Học thử buổi 1 miễn phí.


