10 bài báo AI kinh điển nên đọc (có tóm tắt)

Thông tin mỗi bài báo (tên, tác giả, năm, nơi đăng) lấy từ trang của bài trên arXiv, Nature và NeurIPS, đọc ngày 11/11/2026. Danh sách thiên về những bài người học AI hiện nay gặp lại nhiều nhất, không phải bảng xếp hạng.

Giai đoạn 1: nền tảng

1. Learning representations by back-propagating errors (Rumelhart, Hinton, Williams; Nature, tháng 10/1986). Bài báo trình bày cách huấn luyện mạng nhiều tầng bằng cách lan truyền đạo hàm của sai số ngược từ đầu ra về các tầng trước, nhờ đó các nơ-ron ẩn tự học được cách biểu diễn đặc trưng hữu ích. Gần như mọi mạng nơ-ron hôm nay vẫn học bằng ý tưởng này. Muốn hiểu bằng tay, xem video đầu của Karpathy Zero to Hero.

Giai đoạn 2: học sâu bùng nổ

2. ImageNet Classification with Deep Convolutional Neural Networks (Krizhevsky, Sutskever, Hinton; NeurIPS 2012), thường gọi là AlexNet. Theo tóm tắt của bản PDF xuất bản, nhóm huấn luyện một mạng tích chập lớn, sâu để phân loại 1,2 triệu ảnh của bộ ImageNet LSVRC-2010 vào 1.000 lớp; trên tập kiểm tra đạt tỉ lệ lỗi top-1 và top-5 là 37,5% và 17,0%, tốt hơn đáng kể so với kết quả tốt nhất trước đó. Mạng có 60 triệu tham số và 650.000 nơ-ron, gồm năm tầng tích chập và ba tầng kết nối đầy đủ. (Trang đích trên NeurIPS vẫn hiện tóm tắt của bản nộp trước đó với những con số khác: 1,3 triệu ảnh, 39,7% và 18,9%. Con số đúng để trích là con số trong tệp PDF, cũng là con số các giáo trình dùng.) Nhóm nhóm dùng GPU để huấn luyện nhanh và một phương pháp chính quy hóa mới để giảm quá khớp. Bài này thường được xem là mốc mở đầu làn sóng học sâu.

3. Efficient Estimation of Word Representations in Vector Space (Mikolov và cộng sự, 2013), word2vec. Hai kiến trúc mới để tính véc-tơ biểu diễn từ trên dữ liệu rất lớn; tóm tắt nêu chỉ cần chưa tới một ngày để học véc-tơ từ chất lượng cao từ bộ dữ liệu 1,6 tỉ từ. Ý tưởng "từ là véc-tơ, từ gần nghĩa thì véc-tơ gần nhau" là nền của embedding dùng trong RAG ngày nay.

4. Adam: A Method for Stochastic Optimization (Kingma, Ba, 2014). Thuật toán tối ưu dựa trên ước lượng thích nghi của các mô-men bậc thấp của gradient; tóm tắt nhấn mạnh dễ cài đặt, ít tốn bộ nhớ, hợp với bài toán nhiều dữ liệu và tham số, và siêu tham số thường ít phải chỉnh. Đến nay vẫn là bộ tối ưu mặc định trong rất nhiều dự án.

5. Generative Adversarial Networks (Goodfellow và cộng sự, 2014). Huấn luyện đồng thời hai mạng: mạng sinh G bắt chước phân phối dữ liệu, và mạng phân biệt D đoán một mẫu đến từ dữ liệu thật hay từ G; G được huấn luyện để làm D đoán sai, như một trò chơi hai người. Mở đầu cho nhiều năm mô hình sinh ảnh.

6. Deep Residual Learning for Image Recognition (He và cộng sự, 2015), ResNet. Mạng càng sâu càng khó huấn luyện; bài báo cho các tầng học "phần dư" so với đầu vào (kết nối tắt). Tóm tắt nêu mạng sâu tới 152 tầng, một tổ hợp các mạng này đạt 3,57% lỗi trên tập kiểm tra ImageNet và đứng đầu cuộc thi phân loại ILSVRC 2015. Kết nối dư có mặt trong hầu hết kiến trúc hiện đại, kể cả Transformer.

Giai đoạn 3: Transformer

7. Attention Is All You Need (Vaswani và cộng sự, 2017). Đề xuất kiến trúc Transformer chỉ dựa trên cơ chế chú ý (attention), bỏ hẳn mạng hồi quy và tích chập. Tóm tắt nêu mô hình đạt 28,4 BLEU trên bài dịch Anh sang Đức WMT 2014, hơn kết quả tốt nhất trước đó trên 2 BLEU, và 41,8 BLEU trên bài dịch Anh sang Pháp sau 3,5 ngày huấn luyện trên tám GPU. Đây là kiến trúc nền của gần như mọi mô hình ngôn ngữ lớn hiện nay.

8. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding (Devlin và cộng sự, 2018). Huấn luyện trước Transformer trên văn bản không nhãn, nhìn cả ngữ cảnh trái và phải, rồi tinh chỉnh với chỉ một tầng đầu ra thêm cho từng bài toán. Tóm tắt nêu kết quả tốt nhất trên 11 bài toán xử lý ngôn ngữ, đẩy điểm GLUE lên 80,5%. Mô hình tiếng Việt PhoBERT cũng đi theo hướng này.

Giai đoạn 4: mô hình ngôn ngữ lớn và chatbot

9. Language Models are Few-Shot Learners (Brown và cộng sự, 2020), GPT-3. Huấn luyện mô hình ngôn ngữ tự hồi quy 175 tỉ tham số, gấp 10 lần mô hình không thưa trước đó, và thử khả năng làm bài chỉ với vài ví dụ trong prompt mà không cần tinh chỉnh. Tóm tắt cho thấy tăng quy mô cải thiện rõ khả năng học từ vài ví dụ. Đây là gốc của kỹ thuật viết prompt có ví dụ mẫu ngày nay.

10. Training language models to follow instructions with human feedback (Ouyang và cộng sự, 2022), InstructGPT. Mô hình to hơn không tự động làm theo ý người dùng tốt hơn. Nhóm tinh chỉnh GPT-3 bằng các mẫu do người viết, rồi bằng học tăng cường từ phản hồi của con người (RLHF) dựa trên xếp hạng câu trả lời. Theo tóm tắt, trong đánh giá của con người, câu trả lời của InstructGPT 1,3 tỉ tham số được ưa hơn của GPT-3 175 tỉ tham số dù ít hơn 100 lần tham số. Đây là bước then chốt dẫn tới các chatbot.

Tự cài lại công thức chính

Đọc xong một bài báo, cách kiểm tra mình hiểu chưa là tự cài lại công thức chính trên ví dụ nhỏ. Với bài Transformer, công thức trung tâm là Attention(Q, K, V) = softmax(Q K^T / sqrt(d_k)) V: mỗi từ có một "câu hỏi" (hàng của Q), so với "khóa" của mọi từ (K) để ra điểm, chuẩn hóa điểm thành trọng số bằng softmax, rồi lấy trung bình có trọng số các "giá trị" (V). Đoạn Python dưới đây cài công thức đó bằng Python thuần trên ba từ, mỗi từ một véc-tơ hai chiều.

"""Cài lại công thức chính của bài "Attention Is All You Need" (2017) bằng Python thuần:

    Attention(Q, K, V) = softmax(Q K^T / sqrt(d_k)) V

Mỗi hàng của Q là một "câu hỏi" của một từ; điểm với từng "khóa" trong K quyết định lấy bao nhiêu từ mỗi "giá trị" trong V.
Cách học bài báo tốt: đọc công thức, tự cài lại trên ví dụ nhỏ, so với điều bài báo nói.
"""
import math


def nhan(A, B):
    return [[sum(a * b for a, b in zip(hang, cot)) for cot in zip(*B)] for hang in A]


def chuyen_vi(A):
    return [list(c) for c in zip(*A)]


def softmax(hang):
    m = max(hang)                       # trừ giá trị lớn nhất để exp không tràn số
    e = [math.exp(x - m) for x in hang]
    s = sum(e)
    return [x / s for x in e]


def attention(Q, K, V):
    d_k = len(K[0])
    diem = [[x / math.sqrt(d_k) for x in hang] for hang in nhan(Q, chuyen_vi(K))]
    trong_so = [softmax(hang) for hang in diem]
    return nhan(trong_so, V), trong_so


def chay_thu():
    # 3 từ, mỗi từ một véc-tơ 2 chiều; dùng chung cho Q, K, V (self-attention đơn giản nhất).
    X = [[1.0, 0.0],
         [0.0, 1.0],
         [1.0, 1.0]]
    ra, w = attention(X, X, X)
    dong = ["Trọng số chú ý (mỗi hàng cộng lại bằng 1):"]
    dong += ["  từ %d: %s" % (i + 1, [round(x, 3) for x in hang]) for i, hang in enumerate(w)]
    dong.append("Đầu ra: " + str([[round(x, 3) for x in hang] for hang in ra]))
    print("\n".join(dong))
    return dong


if __name__ == "__main__":
    chay_thu()

Kết quả: mỗi hàng trọng số cộng lại bằng 1; từ 1 chú ý nhiều nhất vào chính nó và từ 3 (cùng 0,401), từ 3 chú ý vào chính nó nhiều nhất (0,503). Một điều thú vị có thể tự kiểm: đổi thứ tự các từ thì đầu ra chỉ đổi thứ tự theo, nghĩa là attention tự nó không biết vị trí; vì vậy bài báo phải thêm mã hóa vị trí (positional encoding).

Đọc bài báo thế nào

1. Lượt 1 (15 phút): tóm tắt, hình, bảng kết quả, kết luận. Trả lời: bài giải quyết vấn đề gì, ý chính là gì, kết quả tốt hơn cái gì.
2. Lượt 2 (1 đến 2 giờ): phần phương pháp. Vẽ lại sơ đồ kiến trúc bằng tay, viết lại công thức chính bằng lời của mình.
3. Lượt 3 (khi cần): chi tiết huấn luyện, phụ lục, các thí nghiệm phụ. Thử cài lại trên ví dụ nhỏ.

Mẹo: đọc kèm một bài giảng hay video giải thích, nhưng luôn quay lại bản gốc; các bài tóm tắt trên mạng hay bỏ sót điều kiện của kết quả. Thuật ngữ khó tra trong sách Deep Learning miễn phí.

Câu hỏi thường gặp

Học tiếp

• Toàn cảnh tài liệu học AI theo bậc: tài liệu học AI miễn phí.
• Tự viết lan truyền ngược và GPT nhỏ: Karpathy Zero to Hero.
• Sách để tra khái niệm khi đọc bài báo: sách Deep Learning miễn phí.

Nếu bạn muốn học Python và AI bài bản cùng giảng viên, tham khảo khóa học AI của Big-O Coding.

Nguồn tham khảo

• Rumelhart, Hinton, Williams (1986): Learning representations by back-propagating errors (Nature)
• Krizhevsky, Sutskever, Hinton (2012): ImageNet Classification with Deep Convolutional Neural Networks (NeurIPS)
• Mikolov và cộng sự (2013): Efficient Estimation of Word Representations in Vector Space
• Kingma, Ba (2014): Adam: A Method for Stochastic Optimization
• Goodfellow và cộng sự (2014): Generative Adversarial Networks
• He và cộng sự (2015): Deep Residual Learning for Image Recognition
• Vaswani và cộng sự (2017): Attention Is All You Need
• Devlin và cộng sự (2018): BERT
• Brown và cộng sự (2020): Language Models are Few-Shot Learners
• Ouyang và cộng sự (2022): Training language models to follow instructions with human feedback