AI & Machine Learning

Overfitting, Underfitting và Kỹ thuật Regularization L1 L2

Overfitting (quá khớp) và Underfitting (chưa khớp) là hai vấn đề trung tâm trong việc xây dựng mô hình học máy. Hiểu rõ sự đánh đổi giữa Độ chệch (Bias) và Phương sai (Variance) giúp chúng ta áp dụng các kỹ thuật điều chuẩn Regularization như L1 Lasso và L2 Ridge để mô hình khái quát hóa tốt trên dữ liệu thực tế.

Ý chính
  • Khái niệm cốt lõi: Underfitting xảy ra khi mô hình quá đơn giản không học được mẫu; Overfitting xảy ra khi mô hình học vẹt cả nhiễu của tập train và mất khả năng dự đoán tập mới.
  • Đánh đổi Bias - Variance: Underfitting tương ứng với High Bias (độ chệch lớn); Overfitting tương ứng với High Variance (phương sai lớn).
  • L2 Regularization (Ridge): Phạt bình phương trọng số \(\lambda \|w\|_2^2\), thu nhỏ đồng đều các trọng số về gần 0 để làm mượt bề mặt quyết định.
  • L1 Regularization (Lasso): Phạt trị tuyệt đối trọng số \(\lambda \|w\|_1\), triệt tiêu các trọng số không quan trọng về đúng 0, tự động chọn lọc đặc trưng.

Phân biệt Overfitting và Underfitting

Mục tiêu tối thượng của bất kỳ mô hình Machine Learning nào không phải là đạt điểm số 100% trên dữ liệu đã học, mà là khả năng tổng quát hóa (Generalization) trên những dữ liệu hoàn toàn mới chưa từng nhìn thấy trong tương lai.

Trong quá trình huấn luyện, mô hình luôn đứng trước nguy cơ rơi vào hai thái cực sai lầm:

  1. Chưa khớp (Underfitting): Mô hình quá đơn giản, không đủ năng lực (capacity) để nắm bắt được quy luật tiềm ẩn trong dữ liệu. Ví dụ: dùng một đường thẳng bậc nhất để khớp một tập dữ liệu phân bố theo hình parabol cong.
    • Dấu hiệu: Sai số huấn luyện (Training Error) cao và Sai số kiểm thử (Test Error) cũng rất cao.
  2. Quá khớp (Overfitting): Mô hình quá phức tạp, có quá nhiều tham số tự do so với lượng dữ liệu có sẵn. Thay vì học quy luật chung, mô hình "học vẹt" toàn bộ các điểm dữ liệu bao gồm cả các sai số ngẫu nhiên và nhiễu (noise).
    • Dấu hiệu: Sai số huấn luyện cực thấp (gần bằng 0), nhưng Sai số kiểm thử lại tăng vọt rất cao.

Mục tiêu của người làm dữ liệu là điều hướng mô hình đạt tới trạng thái Vừa vặn (Good Fit): mô hình đủ mềm dẻo để học quy luật cốt lõi, nhưng đủ khái quát để không bị ảnh hưởng bởi những biến động nhiễu ngẫu nhiên trong dữ liệu mẫu.

Hiện Tượng Vừa Khớp & Quá Khớp So sánh độ phức tạp mô hình: Chưa khớp, Vừa vặn và Quá khớp Chưa Khớp (Underfit) Mô hình quá đơn giản Vừa Vặn (Tối Ưu) Tổng quát hóa tốt Quá Khớp (Overfit) Mô hình học cả nhiễu Khắc phục bằng Regularization L1, L2 hoặc Dropout
Hiện Tượng Khớp Mô Hình 1. Chưa Khớp (Underfitting) Mô hình quá đơn giản, sai lệch cao 2. Vừa Vặn (Tối Ưu) Tổng quát hóa tốt trên tập kiểm tra 3. Quá Khớp (Overfitting) Học vẹt dữ liệu cũ, sai trên dữ liệu mới
Hình 1. So sánh ba trạng thái: Underfitting (High Bias), Vừa vặn (Good Fit) và Overfitting (High Variance) cùng cơ chế điều chuẩn L1/L2.

Sự đánh đổi giữa Độ chệch và Phương sai (Bias-Variance Tradeoff)

Về mặt toán học, tổng sai số kỳ vọng của một mô hình học máy trên dữ liệu kiểm thử có thể phân rã thành 3 thành phần độc lập:

\[\text{Tổng sai số} = \text{Bias}^2 + \text{Variance} + \sigma^2_{\text{nhiễu}}\]

Trong đó:

  • Độ chệch (Bias): Sai số sinh ra do các giả định đơn giản hóa sai lầm của thuật toán. High Bias khiến mô hình bỏ sót các mối quan hệ quan trọng giữa đặc trưng và nhãn (Underfitting).
  • Phương sai (Variance): Độ nhạy cảm quá mức của mô hình trước những biến động nhỏ trong tập dữ liệu huấn luyện. High Variance khiến mô hình thay đổi hoàn toàn cấu trúc khi được huấn luyện trên một tập mẫu con khác (Overfitting).
  • Nhiễu không thể giảm thiểu (\(\sigma^2\)): Sai số cố hữu trong quá trình thu thập dữ liệu (sai số đo đạc, thông tin bị thiếu) mà không thuật toán nào có thể khắc phục được.

Mục tiêu của kỹ sư AI là tìm ra điểm cân bằng tối ưu (Sweet Spot) sao cho tổng của \(\text{Bias}^2 + \text{Variance}\) đạt giá trị nhỏ nhất có thể.

Kỹ thuật điều chuẩn Regularization

Điều chuẩn (Regularization) là kỹ thuật bổ sung một số hạng phạt (Penalty Term) vào hàm mất mát gốc nhằm hạn chế các trọng số \(w\) không được tăng trưởng quá lớn một cách tự do. Khi các trọng số bị kiềm chế ở mức nhỏ, đường cong dự đoán của mô hình sẽ trở nên phẳng hơn, mượt mà hơn và ít bị chi phối bởi các điểm nhiễu cực đoan.

1. Điều chuẩn L2 (Ridge Regression)

Với hàm mất mát gốc \(\text{Loss}_{\text{gốc}} = \frac{1}{2N}\sum_{i=1}^N (\hat{y}_i - y_i)^2\) như trong bài hồi quy tuyến tính, hàm mất mát L2 bổ sung tổng bình phương của các trọng số:

\[J_{\text{Ridge}}(w) = \text{Loss}_{\text{gốc}} + \frac{\lambda}{2} \sum_{j=1}^D w_j^2 = \text{Loss}_{\text{gốc}} + \frac{\lambda}{2} \|w\|_2^2\]

Siêu tham số \(\lambda \ge 0\) (regularization strength) quyết định mức độ phạt:

  • Nếu \(\lambda = 0\): Trở về mô hình gốc không điều chuẩn.
  • Nếu \(\lambda\) rất lớn: Các trọng số bị ép về sát 0, mô hình trở nên quá phẳng và dẫn đến underfitting.

Quy tắc cập nhật gradient trong Gradient Descent:

\[w_j := w_j (1 - \alpha \lambda) - \alpha \frac{\partial \text{Loss}}{\partial w_j}\]

Hệ số \((1 - \alpha \lambda) \lt 1\) làm cho trọng số bị co nhỏ dần sau mỗi bước lặp, vì vậy L2 còn được gọi là kỹ thuật Weight Decay (suy giảm trọng số) trong Deep Learning.

2. Điều chuẩn L1 (Lasso Regression)

Hàm mất mát L1 bổ sung tổng trị tuyệt đối của các trọng số:

\[J_{\text{Lasso}}(w) = \text{Loss}_{\text{gốc}} + \lambda \sum_{j=1}^D |w_j| = \text{Loss}_{\text{gốc}} + \lambda \|w\|_1\]

Khác với L2 chỉ thu nhỏ trọng số về gần 0, đạo hàm của hàm \(|w|\) là hằng số \((\pm 1)\) dù \(w\) có nhỏ đến đâu. Điều này liên tục kéo các trọng số không thực sự đóng góp vào bài toán về chính xác bằng 0.

Hệ quả là L1 Regularization tạo ra một mô hình thưa (sparse model), đóng vai trò như một bộ lọc lựa chọn đặc trưng tự động (Feature Selection), loại bỏ hoàn toàn các biến dư thừa.

3. Elastic Net

Elastic Net kết hợp cả hai số hạng phạt L1 và L2 theo tỷ lệ điều chỉnh \(r\):

\[J_{\text{ElasticNet}}(w) = \text{Loss}_{\text{gốc}} + \lambda \left( r \|w\|_1 + \frac{1-r}{2} \|w\|_2^2 \right)\]

Elastic Net khắc phục nhược điểm của Lasso khi các đặc trưng có mối tương quan mạnh với nhau (multicollinearity), giúp giữ lại một nhóm các biến liên quan thay vì chỉ chọn ngẫu nhiên một biến duy nhất.

Học cùng giảng viên

Chủ đề này nằm trong Lecture 04 - Linear Regression của Khóa AI. Xem đề cương

Cài đặt mô phỏng điều chuẩn L2 Ridge

Dưới đây là mã nguồn cài đặt Hồi quy tuyến tính có tích hợp điều chuẩn L2 bằng Python và C++17. Bạn sẽ thấy rõ tham số \(\lambda\) kiềm chế độ lớn của \(w\) như thế nào để bảo vệ mô hình khỏi hiện tượng quá khớp.

# Dieu chuan L2 (Ridge) cho hoi quy tuyen tinh 1 bien
import sys

def main():
    data = sys.stdin.read().split()
    if not data:
        return
    it = iter(data)
    n = int(next(it))
    xs = [float(next(it)) for _ in range(n)]
    ys = [float(next(it)) for _ in range(n)]
    lam = float(next(it))
    q = int(next(it))
    q_xs = [float(next(it)) for _ in range(q)]

    # Ridge 1 bien: min 1/(2N) * sum(w*x + b - y)^2 + lam/2 * w^2
    # Dat dao ham theo w va b bang 0:
    #   w = Sxy / (Sxx + N*lam),  b = mean_y - w * mean_x
    mean_x = sum(xs) / n
    mean_y = sum(ys) / n
    sxx = sum((x - mean_x) ** 2 for x in xs)
    sxy = sum((xs[i] - mean_x) * (ys[i] - mean_y) for i in range(n))
    w = sxy / (sxx + n * lam) if sxx + n * lam > 1e-12 else 0.0
    b = mean_y - w * mean_x

    print(f"w={w:.4f} b={b:.4f}")
    for qx in q_xs:
        pred = w * qx + b
        print(f"{pred:.4f}")

if __name__ == "__main__":
    main()

Các giải pháp phòng chống Overfitting thực chiến

Ngoài L1 và L2 Regularization, trong quy trình phát triển mô hình thực tế, các kỹ sư AI kết hợp đồng thời nhiều chiến lược:

  1. Bổ sung thêm dữ liệu huấn luyện: Mô hình càng có nhiều dữ liệu đa dạng thì càng khó "học vẹt". Khi không thể thu thập thêm dữ liệu thật, hãy dùng kỹ thuật tăng cường dữ liệu (Data Augmentation) như xoay ảnh, lật ảnh, thay đổi độ sáng, thêm nhiễu hoặc hoán đổi từ đồng nghĩa trong văn bản.
  2. Kỹ thuật dừng sớm (Early Stopping): Theo dõi sai số trên tập kiểm định (Validation Loss) sau mỗi epoch. Khi Validation Loss bắt đầu tăng trở lại trong khi Training Loss vẫn tiếp tục giảm, đó là dấu hiệu bắt đầu của Overfitting. Hãy dừng huấn luyện ngay tại điểm đó và lưu lại bộ trọng số tốt nhất.
  3. Dropout trong Mạng học sâu: Ở mỗi lượt huấn luyện, ngẫu nhiên tắt đi một tỷ lệ nhất định các nơ-ron (thường là 20% đến 50%). Điều này buộc các nơ-ron còn lại phải tự học cách phối hợp mà không thể ỷ lại vào bất kỳ nơ-ron cụ thể nào.
  4. Kiểm định chéo K-Fold (Cross-Validation): Chia dữ liệu thành \(K\) phần đều nhau, luân phiên dùng \(K-1\) phần để huấn luyện và 1 phần để kiểm tra. Đánh giá trung bình trên cả \(K\) lần giúp phát hiện kịp thời mô hình có bị quá khớp với một tập dữ liệu con hay không.
Cẩn thận
  • Điều chuẩn cả hệ số tự do (Bias): Không bao giờ đưa hệ số bias \(b\) vào số hạng phạt Regularization! Hệ số bias chỉ có nhiệm vụ dịch chuyển siêu phẳng lên xuống trong không gian chứ không làm tăng độ xoắn hay độ phức tạp của mô hình. Phạt bias sẽ khiến mô hình bị lệch nghiêm trọng.
  • Lạm dụng \(\lambda\) quá mức: Đặt \(\lambda\) quá cao vì sợ overfitting sẽ đẩy mô hình rơi thẳng vào cái bẫy đối nghịch là Underfitting, khiến độ chính xác trên cả tập train lẫn test đều tụt dốc thảm hại.

Câu hỏi thường gặp

Khi nào nên dùng L1 Lasso và khi nào nên dùng L2 Ridge?

Dùng L2 Ridge khi bạn tin rằng hầu hết các đặc trưng đầu vào đều có đóng góp một phần nào đó vào kết quả dự đoán và bạn muốn kiểm soát sự ổn định số học. Dùng L1 Lasso khi tập dữ liệu có số chiều quá lớn (hàng trăm ngàn đặc trưng) nhưng bạn nghi ngờ chỉ có một số ít đặc trưng thực sự có ý nghĩa, cần một mô hình thưa gọn nhẹ.

Làm thế nào để biết mô hình đang bị Overfitting hay Underfitting?

Hãy so sánh Training Loss và Validation Loss:

  • Nếu cả Training Loss và Validation Loss đều cao: Mô hình đang bị Underfitting.
  • Nếu Training Loss rất thấp nhưng Validation Loss cao hơn rõ rệt và có xu hướng tăng dần: Mô hình đang bị Overfitting.
  • Nếu cả hai đều thấp và xấp xỉ nhau: Mô hình đang ở trạng thái Good Fit.
Kỹ thuật Data Augmentation chống Overfitting như thế nào?

Data Augmentation tạo ra các biến thể mới của dữ liệu gốc bằng các phép biến đổi bảo toàn ngữ nghĩa. Việc này ngăn chặn mô hình ghi nhớ nguyên văn từng pixel cụ thể, buộc mạng nơ-ron phải học cách trích xuất các đặc trưng bất biến cấp cao (ví dụ: một con mèo dù bị lật ngược hay làm mờ vẫn là con mèo).

Muốn học bài bản cùng giảng viên?

Khóa AI – Introduction to Machine Learning: nền tảng Máy học từ thuật toán cơ bản đến Neural Networks và LLM, học bằng Python. Học thử buổi 1 miễn phí.

Xem Khóa AI

Nguồn tham khảo

Chia sẻ: Facebook LinkedIn
Nhắn Zalo tư vấnZalo Gọi 0937 401 483