AI & Machine Learning

Benchmark AI là gì: đọc MMLU, SWE-bench và bảng xếp hạng cho đúng

Benchmark AI (bài đo chuẩn) là một bộ câu hỏi cố định, kèm cách chấm và cách hỏi mô hình được quy định rõ, để so các mô hình trên cùng một thước đo. Một con số như "MMLU 90%" hay "SWE-bench Verified 49%" chỉ có nghĩa khi bạn biết bài đo hỏi gì, có bao nhiêu câu, chấm thế nào và mô hình đã từng thấy đề hay chưa. Bài này đọc bài báo gốc của MMLU, SWE-bench, Chatbot Arena cùng trang giới thiệu SWE-bench Verified, rồi tính khoảng tin cậy bằng Python.

Ý chính
  • Một benchmark gồm ba phần: bộ câu hỏi, cách chấm và cách hỏi mô hình (prompt, số ví dụ mẫu, số lần lấy mẫu, công cụ được dùng). Đổi một phần là điểm không còn so được với nhau.
  • MMLU có 57 môn, 14.079 câu kiểm tra trắc nghiệm 4 lựa chọn; đoán bừa được 25%. SWE-bench có 2.294 lỗi thật từ 12 kho mã Python; bản Verified giữ lại 500 bài đã được lập trình viên soát, nhưng từ 23/2/2026 OpenAI ngừng báo điểm trên bản này vì đã bị nhiễm đề.
  • Điểm trên 500 câu có khoảng tin cậy 95% rộng khoảng ±4,4 điểm phần trăm quanh mức 50%, nên chênh 2 điểm thường chưa nói lên gì.
  • Nhiễm đề (đề kiểm tra lọt vào dữ liệu huấn luyện) làm điểm đẹp giả; lọc trùng chuỗi từ không bắt được đề đã viết lại.

Code trong bài là Python 3 dùng numpy (máy viết bài dùng numpy 2.5.4). Số liệu lấy từ bản PDF của các bài báo trên arXiv và trang SWE-bench Verified của OpenAI, đọc ngày 12/11/2026.

Benchmark AI là gì

Bài đánh giá câu trả lời AI hướng dẫn tự làm bộ đo cho ứng dụng của bạn; bài các chỉ số đánh giá mô hình giải thích precision, recall, F1. Bài này nói về các bài đo công khai mà các hãng dùng để công bố mô hình.

Benchmark có ba phần. Bộ câu hỏi là phần ai cũng thấy. Cách chấm có thể là so đáp án trắc nghiệm, chạy bộ test, hay để người hoặc mô hình khác chấm. Phần thứ ba hay bị bỏ qua là giao thức: prompt viết thế nào, có bao nhiêu ví dụ mẫu, lấy mẫu một lần hay nhiều lần ở nhiệt độ nào, mô hình có được dùng công cụ không. Ví dụ, DeepSeek-R1 báo điểm pass@1 là trung bình đúng sai của 64 lời giải cho mỗi câu AIME, lấy ở nhiệt độ 0,6. Hai con số cùng tên benchmark mà khác giao thức thì không so trực tiếp được.

MMLU: 57 môn trắc nghiệm

MMLU của Hendrycks và cộng sự gồm 57 môn, từ toán tiểu học, lịch sử Mỹ, khoa học máy tính tới luật và y khoa, ở các mức từ phổ thông tới chuyên nghiệp. Bộ có 15.908 câu: 5 câu mẫu cho mỗi môn, 1.540 câu kiểm định để chọn siêu tham số và 14.079 câu kiểm tra; môn nào cũng có ít nhất 100 câu kiểm tra. Giao thức gốc: prompt mở đầu bằng câu "The following are multiple choice questions (with answers) about" kèm tên môn, thêm tối đa 5 câu mẫu có đáp án, kết thúc bằng "Answer:", rồi lấy chữ A, B, C hay D mà mô hình gán xác suất cao nhất.

Các mốc để đọc điểm: đoán bừa được 25%; người không chuyên thuê qua Amazon Mechanical Turk được 34,5%; mức chuyên gia được tác giả ước khoảng 89,8%, dựa trên điểm của người dự thi thật ở phân vị 95 và phỏng đoán khi thiếu số liệu. GPT-3 175 tỷ tham số được 43,9%, còn các bản GPT-3 nhỏ hơn quanh mức đoán bừa. Bài báo còn đo độ tự tin: ở chế độ không có câu mẫu, độ tự tin của GPT-3 chênh với độ chính xác thật tới 24% ở vài môn.

MMLU nay đã gần chạm trần. Chinchilla đạt 67,6% năm 2022, còn Bảng 3 của bài DeepSeek-R1 ghi R1 đạt 90,8% trên MMLU, cùng 92,9% và 84,0% trên hai biến thể mới hơn là MMLU-Redux và MMLU-Pro. Khi điểm sát mức chuyên gia, chênh lệch nhỏ giữa các mô hình nói lên rất ít.

SWE-bench và SWE-bench Verified

SWE-bench lấy lỗi thật trên GitHub. Từ khoảng 90.000 pull request của 12 kho mã Python phổ biến, nhóm tác giả giữ lại những PR có sửa một issue, có thêm test, và có ít nhất một test chuyển từ trượt sang đạt sau khi áp bản sửa; còn lại 2.294 bài. Mô hình nhận nội dung issue (trung bình 195 từ) cùng toàn bộ mã nguồn, và phải viết ra một bản vá. Bài được tính là giải xong nếu bản vá áp được và mọi test đều đạt: các test FAIL_TO_PASS kiểm lỗi đã được sửa (40% số bài có từ hai test như vậy), và trung vị 51 test PASS_TO_PASS kiểm chức năng cũ không bị hỏng. Lúc ra mắt, mô hình tốt nhất là Claude 2 chỉ giải được 1,96%.

Trang giới thiệu SWE-bench Verified của OpenAI (đăng 13/8/2024, cập nhật 24/2/2025) chỉ ra ba vấn đề của bản gốc: test quá cụ thể nên loại cả lời giải đúng, issue mô tả thiếu, và môi trường chạy khó dựng. OpenAI thuê 93 lập trình viên Python soát 1.699 bài, mỗi bài ba người chấm độc lập và lấy mức nghiêm trọng cao nhất. Kết quả: 38,3% số bài bị đánh dấu mô tả thiếu, 61,1% có test có thể loại oan lời giải đúng, tổng cộng 68,3% bị loại. Bản Verified giữ 500 bài, trong đó 196 bài sửa được dưới 15 phút và 45 bài cần hơn một giờ. Trên bản này, GPT-4o đi kèm khung tác tử Agentless giải được 33,2%, gấp đôi mức 16% trên bản gốc. Bảng 3 của bài DeepSeek-R1 ghi R1 đạt 49,2% trên SWE-bench Verified.

Ngày 23/2/2026, chính OpenAI đăng bài cho biết SWE-bench Verified không còn đo đúng khả năng lập trình của các mô hình hàng đầu, và họ đã ngừng báo điểm trên bộ này. Soát lại 138 bài mà o3 không giải ổn định qua 64 lần chạy, họ thấy ít nhất 59,4% số bài được soát có test sai, chấm trượt cả lời giải đúng. Mọi mô hình hàng đầu họ thử đều chép lại được bản vá gốc hoặc chi tiết nguyên văn của đề ở một số bài, tức các mô hình đã thấy một phần bộ đề khi huấn luyện. OpenAI khuyên dùng SWE-bench Pro thay thế, nên điểm SWE-bench Verified của các mô hình mới cần đọc rất dè dặt.

Chatbot Arena: xếp hạng bằng phiếu bầu

Chatbot Arena (sau đổi tên thành LMArena, từ 28/1/2026 là Arena tại arena.ai) không có bộ câu hỏi cố định. Người dùng tự gõ câu hỏi, hai mô hình giấu tên cùng trả lời, người dùng chọn câu tốt hơn, hòa, hoặc cả hai đều kém. Từ tháng 4/2023 tới tháng 1/2024, nền tảng thu khoảng 240 nghìn phiếu từ hơn 90 nghìn người, trên hơn 50 mô hình và hơn 100 ngôn ngữ; 77% cuộc trò chuyện bằng tiếng Anh, 5% bằng tiếng Trung.

Điểm của mỗi mô hình là hệ số Bradley-Terry, cùng ý với mô hình thưởng trong bài RLHF: xác suất mô hình \(m\) thắng mô hình \(m'\) là \(1/(1 + e^{\xi_{m'} - \xi_m})\). Nhóm tác giả chuyển từ hệ số Elo sang hệ số này vì nó hợp hơn cho việc ước lượng thống kê, và báo kèm khoảng tin cậy. Hạng được tính có tính đến sai số: hạng của một mô hình bằng 1 cộng số mô hình có cận dưới lớn hơn cận trên của nó. Hai mô hình có khoảng tin cậy chồng nhau có thể cùng hạng. Để kiểm phiếu của đám đông, họ cho các chuyên gia chấm lại một số trận: mức đồng ý giữa đám đông và chuyên gia từ 72,8% đến 83,1%, giữa hai chuyên gia từ 79,4% đến 89,8%.

Khoảng tin cậy: điểm có chắc không

Một benchmark là một mẫu câu hỏi. Đổi sang một mẫu khác cùng độ khó, điểm sẽ dao động. Với tỉ lệ đúng \(p\) trên \(n\) câu, sai số chuẩn là:

\[\text{SE} = \sqrt{\frac{p(1 - p)}{n}}\]

và khoảng tin cậy 95% xấp xỉ \(p \pm 1{,}96 \cdot \text{SE}\). Hình 1 cho thấy cùng mức 50%, độ rộng phụ thuộc rất mạnh vào số câu.

Điểm 50% chắc chắn đến đâu? Khoảng tin cậy 95% của tỉ lệ đúng, theo số câu hỏi của bài đo 30% 40% 50% 60% 70% 100 câu 40,2% – 59,8% 500 câu cỡ SWE-bench Verified 45,6% – 54,4% 14.079 câu cỡ tập kiểm tra MMLU 49,2% – 50,8% Chênh 2 điểm trên 500 câu: chưa đủ để nói mô hình nào giỏi hơn
Điểm 50% chắc đến đâu? khoảng tin cậy 95% theo số câu 30% 40% 50% 60% 70% 100 câu 40,2% – 59,8% 500 câu (cỡ SWE-bench Verified) 45,6% – 54,4% 14.079 câu (cỡ tập kiểm tra MMLU) 49,2% – 50,8% Chênh 2 điểm trên 500 câu: chưa đủ để nói ai giỏi hơn
Hình 1. Khoảng tin cậy 95% của điểm 50% khi bài đo có 100 câu, 500 câu (cỡ SWE-bench Verified) và 14.079 câu (cỡ tập kiểm tra MMLU).

Khi so hai mô hình trên cùng bộ câu, nên ghép cặp theo từng câu: chỉ những câu mà đúng một trong hai mô hình làm được mới nói lên chênh lệch. Gọi \(b\) và \(c\) là số câu chỉ mô hình A đúng và chỉ mô hình B đúng, sai số chuẩn của chênh lệch là:

\[\text{SE}_{cap} = \sqrt{\frac{b + c}{n^2} - \frac{(b - c)^2}{n^3}}\]

Đoạn code tính các khoảng này, so bằng lấy mẫu lại (bootstrap), tính hạng gần đúng kiểu Chatbot Arena và thử một phép kiểm nhiễm đề.

"""Đọc điểm benchmark cho đúng: khoảng tin cậy, so hai mô hình trên cùng bộ câu, hạng gần đúng kiểu Chatbot Arena,
và phép kiểm nhiễm đề bằng chuỗi 10 từ trùng nhau.
Chạy: python doc_diem.py
"""
import math

import numpy as np


def khoang_tin_cay(p, n, z=1.96):
    """Khoảng tin cậy 95% xấp xỉ chuẩn cho tỉ lệ đúng p trên n câu."""
    se = math.sqrt(p * (1 - p) / n)
    return p - z * se, p + z * se


def wilson(p, n, z=1.96):
    """Khoảng Wilson: không vượt ra ngoài [0, 1], tốt hơn khi n nhỏ hoặc p gần 0 hay 1."""
    t = 1 + z * z / n
    tam = (p + z * z / (2 * n)) / t
    r = z * math.sqrt(p * (1 - p) / n + z * z / (4 * n * n)) / t
    return tam - r, tam + r


def chenh_lech_cap(a, b, so_lan=20000, seed=0):
    """a, b: kết quả 0/1 của hai mô hình trên CÙNG các câu. Chênh lệch và khoảng bootstrap 95% (lấy lại theo câu)."""
    rng = np.random.default_rng(seed)
    idx = rng.integers(0, len(a), size=(so_lan, len(a)))
    d = (a[idx] - b[idx]).mean(axis=1)
    return float((a - b).mean()), np.percentile(d, [2.5, 97.5])


def hang_gan_dung(khoang):
    """Chatbot Arena: hạng = 1 + số mô hình có cận dưới lớn hơn cận trên của mô hình đang xét."""
    return {m: 1 + sum(lo2 > hi for m2, (lo2, _) in khoang.items() if m2 != m) for m, (_, hi) in khoang.items()}


def trung_10_tu(cau_hoi, van_ban, n=10):
    """Có chuỗi n từ liên tiếp nào của câu hỏi xuất hiện nguyên trong văn bản không."""
    a, b = cau_hoi.lower().split(), van_ban.lower().split()
    tap = {tuple(b[i:i + n]) for i in range(len(b) - n + 1)}
    return any(tuple(a[i:i + n]) in tap for i in range(len(a) - n + 1))


if __name__ == "__main__":
    for n in (100, 500, 14079):
        lo, hi = khoang_tin_cay(0.5, n)
        print(f"điểm 50% trên {n} câu: khoảng tin cậy 95% từ {lo:.1%} đến {hi:.1%}")
    print("Wilson, 3 câu đúng trên 30:", tuple(round(x, 3) for x in wilson(0.1, 30)),
          "| xấp xỉ chuẩn:", tuple(round(x, 3) for x in khoang_tin_cay(0.1, 30)))
    # Hai mô hình trên cùng 500 câu: cả hai đúng 220, chỉ A đúng 40, chỉ B đúng 30, cả hai sai 210
    a = np.array([1] * 220 + [1] * 40 + [0] * 30 + [0] * 210)
    b = np.array([1] * 220 + [0] * 40 + [1] * 30 + [0] * 210)
    d, (lo, hi) = chenh_lech_cap(a, b)
    print(f"A đúng {a.mean():.0%}, B đúng {b.mean():.0%}, chênh {d:+.1%}, khoảng bootstrap từ {lo:+.1%} đến {hi:+.1%}")
    diem = {"Mô hình A": (1205, 1225), "Mô hình B": (1198, 1214), "Mô hình C": (1170, 1186), "Mô hình D": (1150, 1178)}
    print("hạng gần đúng:", hang_gan_dung(diem))
    de = "một đoàn tàu rời ga lúc 7 giờ sáng với vận tốc 60 km/h hỏi sau bao lâu nó đuổi kịp đoàn tàu thứ hai"
    chep = "bài tập về nhà: " + de + " ai giải giúp mình với"
    viet_lai = "tàu thứ nhất khởi hành lúc 7 giờ, chạy 60 km mỗi giờ; bao lâu sau thì nó bắt kịp tàu thứ hai?"
    print("bản chép nguyên bị phát hiện:", trung_10_tu(de, chep), "| bản viết lại bị phát hiện:", trung_10_tu(de, viet_lai))

Hai mô hình trên cùng 500 câu, A đúng 52%, B đúng 50%: khoảng bootstrap của chênh lệch đi từ −1,2 đến +5,2 điểm, có chứa 0, nên chưa kết luận được A giỏi hơn. Ghép cặp vẫn giúp nhiều: so hai điểm như hai mẫu độc lập thì sai số chuẩn còn lớn hơn khoảng 1,9 lần. Với bài đo nhỏ, dùng khoảng Wilson: 3 câu đúng trên 30 cho khoảng từ 3,5% đến 25,6%, còn công thức xấp xỉ chuẩn cho cận dưới âm, vô nghĩa. Với bốn mô hình có khoảng điểm giả định trong code, A và B cùng hạng 1, C và D cùng hạng 3.

Nhiễm đề

Nhiễm đề (contamination) xảy ra khi câu hỏi, hoặc lời giải, của bài đo nằm sẵn trong dữ liệu huấn luyện. Trang SWE-bench Verified tự nhắc rằng SWE-bench được lấy từ kho mã công khai trên GitHub, nên các mô hình tiền huấn luyện trên văn bản Internet nhiều khả năng đã thấy các bài này. Bài Chinchilla cũng dặn thận trọng khi so điểm trên bộ The Pile, vì Chinchilla học nhiều gấp bốn lần dữ liệu của Gopher nên dễ bị lọt đề hơn.

Cách phòng phổ biến là lọc trùng. DeepSeek bỏ mọi đoạn văn bản tiền huấn luyện có đoạn 10-gram trùng với đề hoặc lời giải mẫu; riêng mảng toán đã bỏ khoảng sáu triệu văn bản. Nhưng bài báo tự nhận cách này không chặn được đề bị viết lại, và các benchmark ra trước năm 2024 có thể đã bị nhiễm. Code ở trên cho thấy đúng điều đó: bản chép nguyên đề bị phát hiện, bản viết lại cùng nội dung thì không. Một cách phòng khác là làm mới đề: SWE-bench được thiết kế để thêm bài mới từ các issue tạo ra sau ngày mô hình được huấn luyện. Các nhóm làm dữ liệu cũng lọc đề ngay từ đầu, như bài dữ liệu huấn luyện AI mô tả.

Cẩn thận
  • So hai con số cùng tên benchmark mà khác giao thức: số ví dụ mẫu, số lần lấy mẫu, khung tác tử, công cụ.
  • Coi chênh 1-2 điểm trên vài trăm câu là thắng thua: hãy tính khoảng tin cậy, tốt nhất là ghép cặp theo câu.
  • Tin điểm cao trên một bài đo cũ mà không hỏi chuyện nhiễm đề.
  • Chọn mô hình cho việc thật chỉ dựa vào bảng xếp hạng: hãy thử thêm trên dữ liệu của chính bạn.

Câu hỏi thường gặp

MMLU là gì?

Là bài đo 57 môn trắc nghiệm bốn lựa chọn của Hendrycks và cộng sự, có 14.079 câu kiểm tra; đoán bừa được 25%, mức chuyên gia ước khoảng 89,8%.

SWE-bench là gì?

Là bài đo sửa lỗi thật: mô hình nhận một issue GitHub và mã nguồn, phải viết bản vá làm đạt các test. Bản Verified gồm 500 bài đã được lập trình viên soát; từ tháng 2/2026 OpenAI không còn báo điểm trên bản này vì bị nhiễm đề và khuyên dùng SWE-bench Pro.

Điểm benchmark cao có nghĩa là dùng thật sẽ tốt hơn?

Không chắc. Benchmark chỉ đo đúng loại việc nó chứa, với giao thức của nó; việc của bạn có thể khác hẳn.

Vì sao cùng một mô hình lại có điểm khác nhau ở các nơi?

Thường do khác giao thức: prompt, số ví dụ mẫu, nhiệt độ, số lần lấy mẫu, khung tác tử, hoặc khác phiên bản bộ đề.

Học tiếp

Nếu bạn muốn học Python và học máy bài bản cùng giảng viên, tham khảo khóa học AI của Big-O Coding.

Muốn học bài bản cùng giảng viên?

Khóa AI – Introduction to Machine Learning: nền tảng Máy học từ thuật toán cơ bản đến Neural Networks và LLM, học bằng Python. Học thử buổi 1 miễn phí.

Xem Khóa AI

Nguồn tham khảo

Chia sẻ: Facebook LinkedIn
Nhắn Zalo tư vấnZalo Gọi 0937 401 483