AI & Machine Learning

Hồi quy Logistic (Logistic Regression): Phân loại nhị phân cơ bản

Hồi quy Logistic (Logistic Regression) là thuật toán học máy có giám sát kinh điển dùng cho bài toán phân loại nhị phân. Bằng cách áp dụng hàm phi tuyến Sigmoid để nén giá trị đầu ra vào khoảng xác suất từ 0 đến 1, mô hình đưa ra quyết định phân lớp chính xác dựa trên ngưỡng xác suất.

Ý chính
  • Mục đích phân loại: Dù mang tên là hồi quy, Logistic Regression thực chất là thuật toán phân loại (Classification), phổ biến nhất là nhị phân (Binary Classification) với nhãn thuộc \(\{0, 1\}\).
  • Hàm kích hoạt Sigmoid: Biến đổi giá trị liên tục \(z \in (-\infty, +\infty)\) thành xác suất \(p \in (0, 1)\).
  • Hàm mất mát Log Loss: Sử dụng Binary Cross-Entropy thay vì MSE để đảm bảo hàm mục tiêu là hàm lồi (convex), tránh mắc kẹt tại cực tiểu địa phương.
  • Ranh giới quyết định tuyến tính: Decision Boundary là một siêu phẳng chia không gian đặc trưng thành hai nửa tương ứng với hai lớp.

Hồi quy Logistic là gì?

Trong thực tế đời sống và công nghệ thông tin, rất nhiều bài toán quan trọng thuộc dạng phân loại nhị phân: một email gửi đến hộp thư có phải là thư rác hay không? Một giao dịch quẹt thẻ ngân hàng có dấu hiệu gian lận hay hợp lệ? Một khối u trên phim chụp y khoa là lành tính hay ác tính? Một khách hàng truy cập website có quyết định nhấn nút mua hàng hay rời đi?

Nếu ta cố tình áp dụng mô hình Hồi quy tuyến tính (Linear Regression) cho bài toán phân loại bằng cách gán nhãn \(y \in \{0, 1\}\), ta sẽ gặp phải hai vấn đề nghiêm trọng:

  1. Giá trị dự đoán \(\hat{y} = wx + b\) có thể vượt ra ngoài khoảng \([0, 1]\) (ví dụ ra \(-2.5\) hoặc \(3.8\)), không thể diễn giải như một xác suất hợp lệ.
  2. Các điểm dữ liệu nằm rất xa ranh giới phân tách (outliers) sẽ kéo lệch đường thẳng hồi quy, làm thay đổi vị trí cắt ngưỡng và dẫn đến phân loại sai hàng loạt mẫu bình thường.

Hồi quy Logistic giải quyết triệt để vấn đề này bằng cách lồng tổ hợp tuyến tính qua một hàm phi tuyến có dạng chữ S gọi là hàm Sigmoid.

Hồi Quy Logistic & Hàm Sigmoid Ánh xạ giá trị thực sang khoảng xác suất từ 0 đến 1 z P(y=1) 0.5 1.0 0.0 Quy Tắc Quyết Định Hàm Sigmoid: σ(z) Nếu P ≥ 0.5 → Lớp 1 Nếu P < 0.5 → Lớp 0 Ứng dụng: Phân loại nhị phân
Hồi Quy Logistic Ngưỡng 0.5 Đặc điểm phân loại: Xác suất đầu ra trong [0, 1] Xác suất ≥ 0.5: Dự đoán Lớp 1 Xác suất < 0.5: Dự đoán Lớp 0
Hình 1. Đồ thị hàm Sigmoid và cơ chế phân loại nhị phân dựa trên ngưỡng xác suất 0.5.

Hàm kích hoạt Sigmoid

Hàm Sigmoid (còn gọi là hàm Logistic tiêu chuẩn) nhận một số thực bất kỳ \(z \in \mathbb{R}\) và ánh xạ nó về khoảng mở \((0, 1)\):

\[\sigma(z) = \frac{1}{1 + e^{-z}}\]

Trong mô hình hồi quy Logistic, đại lượng \(z\) chính là tổ hợp tuyến tính của các đặc trưng:

\[z = w^T x + b = w_1 x_1 + w_2 x_2 + \dots + w_D x_D + b\]

Đầu ra của mô hình được diễn giải là xác suất có điều kiện để mẫu dữ liệu \(x\) thuộc về lớp 1:

\[P(y = 1 \mid x; w, b) = \hat{y} = \sigma(w^T x + b)\]

Xác suất mẫu dữ liệu thuộc về lớp 0 hiển nhiên là:

\[P(y = 0 \mid x; w, b) = 1 - \hat{y} = 1 - \sigma(w^T x + b)\]

Đạo hàm tuyệt đẹp của hàm Sigmoid

Một tính chất toán học cực kỳ quan trọng giúp việc cài đặt thuật toán trở nên nhanh chóng là đạo hàm của hàm Sigmoid có thể tính trực tiếp từ chính giá trị của nó:

\[\sigma'(z) = \frac{d}{dz} \left( \frac{1}{1 + e^{-z}} \right) = \frac{e^{-z}}{(1 + e^{-z})^2} = \sigma(z) \cdot (1 - \sigma(z))\]

Tính chất này giúp ta tiết kiệm rất nhiều phép tính số mũ tốn kém trong quá trình lan truyền ngược gradient, đồng thời giữ cho code cài đặt luôn gọn gàng và tối ưu tốc độ.

Hàm mất mát Binary Cross-Entropy (Log Loss)

Nếu ta áp dụng sai số toàn phương trung bình MSE cho hàm Sigmoid, hàm mất mát thu được sẽ là một hàm phi lồi (non-convex) chứa vô số điểm cực tiểu địa phương gồ ghề, khiến Gradient Descent dễ dàng bị bế tắc tại một nghiệm phụ kém chất lượng.

Để khắc phục, chúng ta sử dụng nguyên lý Ước lượng hợp lý cực đại (Maximum Likelihood Estimation - MLE). Với một mẫu dữ liệu có nhãn \(y \in \{0, 1\}\), hàm xác suất kết hợp được viết dưới dạng:

\[P(y \mid x) = \hat{y}^y (1 - \hat{y})^{1 - y}\]

Lấy logarit tự nhiên và đổi dấu để biến bài toán cực đại hóa thành cực tiểu hóa, ta thu được hàm mất mát Binary Cross-Entropy (hay Log Loss) cho toàn bộ \(N\) mẫu dữ liệu:

\[J(w, b) = -\frac{1}{N} \sum_{i=1}^N \Big[ y_i \log(\hat{y}_i) + (1 - y_i) \log(1 - \hat{y}_i) \Big]\]

Ý nghĩa trực quan của hàm Log Loss:

  • Nếu nhãn thực tế \(y_i = 1\): hàm mất mát là \(-\log(\hat{y}_i)\). Khi mô hình dự đoán \(\hat{y}_i \to 1\), mất mát tiệm cận 0; nhưng nếu dự đoán \(\hat{y}_i \to 0\), mất mát sẽ vọt lên \(+\infty\) như một sự trừng phạt nặng nề.
  • Nếu nhãn thực tế \(y_i = 0\): hàm mất mát là \(-\log(1 - \hat{y}_i)\). Tương tự, nếu mô hình dự đoán \(\hat{y}_i \to 1\), mất mát cũng sẽ tăng vọt tới vô cực.

Cập nhật trọng số bằng Gradient Descent

Tính đạo hàm riêng của hàm mất mát \(J(w, b)\) theo từng trọng số \(w_j\) thông qua quy tắc chuỗi:

\[\frac{\partial J}{\partial w_j} = \frac{\partial J}{\partial \hat{y}} \cdot \frac{\partial \hat{y}}{\partial z} \cdot \frac{\partial z}{\partial w_j}\]

Kỳ diệu thay, sau khi rút gọn các đại lượng, đạo hàm của hàm Binary Cross-Entropy lại có dạng giống hệt như trong Hồi quy tuyến tính:

\[\frac{\partial J}{\partial w_j} = \frac{1}{N} \sum_{i=1}^N (\hat{y}_i - y_i) x_{ij}\]

\[\frac{\partial J}{\partial b} = \frac{1}{N} \sum_{i=1}^N (\hat{y}_i - y_i)\]

Quy tắc cập nhật lặp Gradient Descent ở mỗi bước huấn luyện:

\[w := w - \alpha \frac{1}{N} \sum_{i=1}^N (\hat{y}_i - y_i) x_i\]

\[b := b - \alpha \frac{1}{N} \sum_{i=1}^N (\hat{y}_i - y_i)\]

Ngưỡng quyết định và Trade-off Precision-Recall

Mô hình Logistic Regression sau khi tính toán sẽ trả về một xác suất liên tục \(P(y=1|\mathbf{x}) \in (0, 1)\). Theo mặc định thông thường, chúng ta chọn ngưỡng phân loại là \(0.5\): nếu xác suất \(\ge 0.5\), dự đoán nhãn \(1\); ngược lại gán nhãn \(0\). Tuy nhiên trong các bài toán thực tiễn của doanh nghiệp, ngưỡng \(0.5\) hiếm khi là điểm tối ưu duy nhất:

  • Bài toán phát hiện bệnh hiểm nghèo: Bỏ sót một ca dương tính (False Negative) có thể đe dọa trực tiếp đến tính mạng bệnh nhân. Vì vậy, kỹ sư thường chủ động hạ ngưỡng quyết định xuống mức \(0.2\) hoặc thậm chí \(0.1\) để tối đa hóa chỉ số Recall, chấp nhận tỷ lệ cảnh báo nhầm (False Positive) tăng nhẹ để đưa bệnh nhân đi xét nghiệm chuyên sâu.
  • Bài toán lọc thư rác (Spam) hoặc kiểm duyệt giao dịch: Một email quan trọng của đối tác bị phân loại nhầm vào hòm rác (False Positive) sẽ gây gián đoạn công việc nghiêm trọng. Do đó ngưỡng quyết định thường được nâng lên mức \(0.8\) hoặc \(0.9\) nhằm ưu tiên chỉ số Precision tối đa.
  • Đường cong ROC và chỉ số AUC: Để đánh giá toàn diện mô hình mà không phụ thuộc vào một ngưỡng cắt cố định, người ta sử dụng đường cong ROC (Receiver Operating Characteristic) biểu diễn tỷ lệ True Positive Rate theo False Positive Rate tại tất cả các ngưỡng khả dĩ. Diện tích dưới đường cong (AUC - Area Under the Curve) càng tiệm cận \(1.0\) thể hiện khả năng phân tách thứ tự xác suất giữa hai lớp của mô hình càng vượt trội.
Học cùng giảng viên

Chủ đề này nằm trong Lecture 06 - Logistic Regression của Khóa AI. Xem đề cương

Cài đặt thuật toán hoàn chỉnh

Dưới đây là mã nguồn cài đặt Hồi quy Logistic bằng Python và C++17. Mô hình huấn luyện trên dữ liệu nhị phân qua 500 vòng lặp gradient descent, tính xác suất dự đoán \(p\) và gán nhãn theo ngưỡng 0.5.

# Hoi quy Logistic Binary Classification bang Gradient Descent
import sys
import math

def sigmoid(z):
    if z < -40: return 0.0
    if z > 40: return 1.0
    return 1.0 / (1.0 + math.exp(-z))

def main():
    data = sys.stdin.read().split()
    if not data:
        return
    it = iter(data)
    n = int(next(it))
    xs = [float(next(it)) for _ in range(n)]
    ys = [int(next(it)) for _ in range(n)]
    q = int(next(it))
    q_xs = [float(next(it)) for _ in range(q)]

    w = 0.0
    b = 0.0
    lr = 0.1
    epochs = 500

    for _ in range(epochs):
        gw = 0.0
        gb = 0.0
        for i in range(n):
            z = w * xs[i] + b
            p = sigmoid(z)
            err = p - ys[i]
            gw += err * xs[i]
            gb += err
        w -= lr * (gw / n)
        b -= lr * (gb / n)

    print(f"w={w:.4f} b={b:.4f}")
    for qx in q_xs:
        p = sigmoid(w * qx + b)
        cls = 1 if p >= 0.5 else 0
        print(f"p={p:.4f} cls={cls}")

if __name__ == "__main__":
    main()

Ranh giới quyết định (Decision Boundary)

Thông thường, ta đưa ra quyết định phân loại theo ngưỡng mặc định \(p = 0.5\):

  • Dự đoán lớp 1 nếu \(P(y = 1 \mid x) \ge 0.5 \iff w^T x + b \ge 0\).
  • Dự đoán lớp 0 nếu \(P(y = 1 \mid x) \lt 0.5 \iff w^T x + b \lt 0\).

Phương trình \(w^T x + b = 0\) chính là phương trình của Ranh giới quyết định (Decision Boundary). Trong không gian 2 chiều, đây là một đường thẳng phân tách hai miền dữ liệu. Trong không gian 3 chiều, đây là một mặt phẳng, và trong không gian \(D\) chiều tổng quát, đây là một siêu phẳng (hyperplane).

Trong các ứng dụng y tế hoặc chống gian lận tài chính, ngưỡng 0.5 có thể được điều chỉnh linh hoạt. Ví dụ, để không bỏ sót bất kỳ ca nghi ngờ ung thư nào, bác sĩ có thể hạ ngưỡng cảnh báo xuống \(p = 0.2\) nhằm tối đa hóa độ nhạy (Recall), chấp nhận tỷ lệ dương tính giả cao hơn một chút để tiến hành xét nghiệm chuyên sâu. Ngược lại, trong bộ lọc thư rác, người ta thường nâng ngưỡng lên \(p = 0.8\) để đảm bảo tuyệt đối không có email công việc quan trọng nào bị chuyển nhầm vào mục thư rác.

Cẩn thận
  • Tràn số trong hàm Exp (Numerical Overflow): Khi tính \(e^{-z}\), nếu \(z \ll -700\), phép tính math.exp(-z) sẽ gây lỗi tràn số bộ nhớ OverflowError. Do đó, cần cài đặt cơ chế cắt tỉa an toàn (clipping) cho \(z\), ví dụ giới hạn \(z \in [-40, 40]\) trước khi đưa vào hàm exp.
  • Dữ liệu phân tách tuyến tính hoàn hảo (Perfect Separation): Khi dữ liệu hai lớp tách biệt hoàn toàn không có điểm giao thoa, các trọng số \(w\) sẽ có xu hướng tiến ra vô cực \((\pm \infty)\) trong quá trình huấn luyện nhằm đẩy hàm mất mát về đúng 0. Để tránh hiện tượng này, luôn luôn áp dụng kỹ thuật điều chuẩn L2 Regularization để kiểm soát độ lớn trọng số.

Câu hỏi thường gặp

Hồi quy Logistic khác gì với Mạng Nơ-ron (Perceptron)?

Hồi quy Logistic thực chất chính là một Perceptron đơn tầng với hàm kích hoạt Sigmoid và hàm mất mát Cross-Entropy. Khi xếp chồng nhiều tầng nơ-ron lại với nhau và thêm các tầng ẩn phi tuyến, ta sẽ thu được mạng học sâu nhiều lớp (Multilayer Perceptron - MLP).

Làm thế nào để mở rộng Logistic Regression cho bài toán nhiều hơn 2 lớp?

Có hai cách tiếp cận chính:

  1. Kỹ thuật One-vs-Rest (OvR): Huấn luyện \(K\) mô hình nhị phân độc lập, mỗi mô hình phân biệt lớp \(k\) với tất cả các lớp còn lại.
  2. Sử dụng hàm Softmax: Mở rộng trực tiếp hàm Sigmoid thành Softmax Regression (hay Multinomial Logistic Regression), phân phối tổng xác suất của tất cả \(K\) lớp về bằng 1.
Tại sao không dùng hàm mất mát MSE cho Logistic Regression?

Khi kết hợp hàm Sigmoid phi tuyến với hàm sai số bình phương MSE, bề mặt hàm mất mát trở thành hàm phi lồi (non-convex) chứa rất nhiều điểm yên ngựa và cực tiểu cục bộ. Thuật toán Gradient Descent sẽ dễ dàng bị mắc kẹt tại một điểm cực tiểu phụ tồi tệ và không thể tìm ra bộ trọng số tối ưu.

Muốn học bài bản cùng giảng viên?

Khóa AI – Introduction to Machine Learning: nền tảng Máy học từ thuật toán cơ bản đến Neural Networks và LLM, học bằng Python. Học thử buổi 1 miễn phí.

Xem Khóa AI

Nguồn tham khảo

Chia sẻ: Facebook LinkedIn
Nhắn Zalo tư vấnZalo Gọi 0937 401 483