- Mối quan hệ tuyến tính: Mô hình giả định đầu ra \(\hat{y}\) là tổ hợp tuyến tính của các đặc trưng đầu vào: \(\hat{y} = w_1 x_1 + w_2 x_2 + \dots + w_D x_D + b\).
- Hàm mất mát MSE: Đo lường trung bình bình phương khoảng cách giữa giá trị thực tế \(y\) và giá trị dự đoán \(\hat{y}\).
- Hai phương pháp tìm nghiệm: Phương pháp giải tích bằng Nghiệm đóng Normal Equation cho bài toán nhỏ và phương pháp Gradient Descent cho tập dữ liệu lớn.
- Tính lồi toàn cục: Hàm mất mát MSE của Linear Regression là một hàm lồi (convex), đảm bảo mọi cực tiểu địa phương đều là cực tiểu toàn cục.
Hồi quy tuyến tính là gì?
Hồi quy tuyến tính (Linear Regression) là một trong những thuật toán cơ bản, trực quan và được áp dụng rộng rãi nhất trong học máy có giám sát (Supervised Learning). Nhiệm vụ của mô hình là tìm ra một đường thẳng (với dữ liệu 1 chiều) hoặc một siêu phẳng (với dữ liệu nhiều chiều) phản ánh chính xác nhất xu hướng biến thiên của dữ liệu.
Ví dụ kinh điển: dự đoán giá nhà dựa trên diện tích sàn, số phòng ngủ và khoảng cách tới trung tâm thành phố. Khi diện tích sàn tăng lên, giá nhà thường có xu hướng tăng theo một tỷ lệ nhất định. Hồi quy tuyến tính lượng hóa mối quan hệ này thông qua các hệ số trọng số \(w\) (weights) và độ lệch \(b\) (bias).
Trong thực tế doanh nghiệp, mô hình hồi quy tuyến tính được ứng dụng mạnh mẽ trong phân tích xu hướng thị trường, dự báo doanh số bán hàng quý tiếp theo, ước tính nhu cầu tiêu thụ điện năng dựa trên nhiệt độ môi trường, và đánh giá tác động của ngân sách quảng cáo đối với lượng người dùng mới. Tính minh bạch và khả năng giải thích rõ ràng của từng trọng số giúp các nhà quản lý dễ dàng đưa ra các quyết định kinh doanh chiến lược.
Thiết lập toán học và Hàm mất mát MSE
Giả sử chúng ta có tập dữ liệu huấn luyện gồm \(N\) mẫu quan sát, mỗi mẫu có \(D\) đặc trưng đầu vào được biểu diễn dưới dạng vector hàng \(x_i = [x_{i1}, x_{i2}, \dots, x_{iD}]\). Giá trị thực tế cần dự đoán là số thực \(y_i \in \mathbb{R}\).
Công thức dự đoán của mô hình hồi quy tuyến tính:
\[\hat{y}_i = w_1 x_{i1} + w_2 x_{i2} + \dots + w_D x_{iD} + b = x_i w + b\]
Để biểu diễn gọn gàng dưới dạng ma trận, ta mở rộng vector đặc trưng bằng cách thêm một phần tử số 1 vào đầu: \(\bar{x}_i = [1, x_{i1}, \dots, x_{iD}]\) và gộp độ lệch \(b\) vào vector trọng số \(\bar{w} = [b, w_1, \dots, w_D]^T\). Khi đó:
\[\hat{y}_i = \bar{x}_i \bar{w}\]
Toàn bộ tập dữ liệu được xếp thành ma trận thiết kế \(X \in \mathbb{R}^{N \times (D+1)}\), và vector dự đoán của toàn bộ \(N\) mẫu là:
\[\hat{y} = X \bar{w}\]
Hàm mất mát sai số toàn phương trung bình (MSE)
Làm thế nào để đánh giá đường thẳng dự đoán là "tốt" hay "xấu"? Chúng ta đo lường độ chênh lệch giữa giá trị thực tế \(y_i\) và giá trị dự đoán \(\hat{y}_i\). Khoảng cách này được gọi là sai số thặng dư (residual): \(e_i = y_i - \hat{y}_i\).
Sai số bình phương trung bình (Mean Squared Error - MSE) là \(\frac{1}{N}\sum_{i=1}^N (\hat{y}_i - y_i)^2\), cũng là số MSE mà chương trình bên dưới in ra. Hàm mất mát dùng để tối ưu thường lấy một nửa MSE cho đạo hàm gọn hơn:
\[J(w) = \frac{1}{2N} \sum_{i=1}^N (\hat{y}_i - y_i)^2 = \frac{1}{2N} \| X \bar{w} - y \|_2^2\]
Hệ số \(\frac{1}{2}\) được đưa vào nhằm triệt tiêu hệ số 2 khi tính đạo hàm, giúp biểu thức toán học trở nên thanh thoát hơn mà không làm thay đổi vị trí điểm cực tiểu.
Phương pháp 1: Nghiệm đóng Normal Equation
Vì hàm mất mát \(J(w)\) là một hàm bậc hai khả vi và lồi đối với vector trọng số \(\bar{w}\), điểm cực tiểu toàn cục xảy ra chính xác tại nơi đạo hàm riêng của \(J(w)\) theo \(\bar{w}\) bằng 0.
Lấy đạo hàm ma trận của \(J(w)\) theo \(\bar{w}\):
\[\nabla_{\bar{w}} J(w) = \frac{1}{N} X^T (X \bar{w} - y) = 0\]
Biến đổi tương đương:
\[X^T X \bar{w} = X^T y\]
Nếu ma trận \(X^T X\) khả nghịch (tức các đặc trưng đầu vào độc lập tuyến tính với nhau), ta thu được công thức nghiệm đóng duy nhất được gọi là Normal Equation:
\[\bar{w} = (X^T X)^{-1} X^T y\]
Đánh giá phương pháp Nghiệm đóng:
- Ưu điểm: Cho ra nghiệm chính xác tuyệt đối ngay trong một bước tính toán duy nhất, không cần chọn siêu tham số tốc độ học (learning rate), không cần theo dõi vòng lặp hội tụ.
- Nhược điểm: Phép nghịch đảo ma trận \((X^T X)^{-1}\) có độ phức tạp tính toán lên tới \(O(D^3)\). Khi số lượng đặc trưng \(D\) vượt quá vài chục nghìn, tính toán nghiệm đóng sẽ làm tràn bộ nhớ và cực kỳ chậm chạp. Hơn nữa, nếu các cột trong ma trận \(X\) bị phụ thuộc tuyến tính (đa cộng tuyến), ma trận sẽ không khả nghịch và đòi hỏi sử dụng ma trận giả nghịch đảo Moore-Penrose.
Phương pháp 2: Tối ưu bằng Gradient Descent
Khi số lượng mẫu \(N\) và số chiều \(D\) rất lớn, phương pháp lặp Gradient Descent là lựa chọn tối ưu. Thay vì giải trực tiếp phương trình ma trận, ta khởi tạo ngẫu nhiên \(\bar{w}\) và cập nhật từng bước nhỏ ngược hướng với gradient của hàm mất mát:
\[\bar{w} := \bar{w} - \alpha \nabla_{\bar{w}} J(\bar{w})\]
Với tốc độ học \(\alpha > 0\) (learning rate), quy tắc cập nhật cho từng tham số trọng số \(w\) và bias \(b\) là:
\[w := w - \alpha \frac{1}{N} \sum_{i=1}^N (\hat{y}_i - y_i) x_i\]
\[b := b - \alpha \frac{1}{N} \sum_{i=1}^N (\hat{y}_i - y_i)\]
Vì hàm mất mát của Linear Regression là một mặt parabol lồi không có cực tiểu địa phương giả hay điểm yên ngựa phức tạp, thuật toán Gradient Descent luôn được đảm bảo sẽ hội tụ về điểm tối ưu toàn cục nếu chọn tốc độ học \(\alpha\) đủ nhỏ.
Trong quá trình huấn luyện bằng Gradient Descent, việc theo dõi giá trị hàm mất mát qua từng vòng lặp (loss curve) là vô cùng cần thiết. Đồ thị sai số phải giảm đều đặn theo thời gian. Nếu sai số dao động mạnh hoặc vọt lên giá trị khổng lồ, điều đó chứng tỏ tốc độ học \(\alpha\) đang được đặt quá lớn.
Chủ đề này nằm trong Lecture 04 - Linear Regression của Khóa AI. Xem đề cương
Cài đặt thuật toán hoàn chỉnh
Dưới đây là mã nguồn cài đặt Hồi quy tuyến tính bằng cả Python và C++17. Chương trình tiếp nhận tập dữ liệu \(N\) điểm, tính toán hệ số góc \(w\), độ lệch \(b\) và sai số MSE, sau đó xuất kết quả dự đoán cho \(Q\) truy vấn kiểm thử.
# Hoi quy tuyen tinh 1 bien: nghiem dong Least Squares, w = cov(x, y) / var(x)
import sys
def main():
data = sys.stdin.read().split()
if not data:
return
it = iter(data)
n = int(next(it))
xs = [float(next(it)) for _ in range(n)]
ys = [float(next(it)) for _ in range(n)]
q = int(next(it))
q_xs = [float(next(it)) for _ in range(q)]
mean_x = sum(xs) / n
mean_y = sum(ys) / n
num = sum((xs[i] - mean_x) * (ys[i] - mean_y) for i in range(n))
den = sum((xs[i] - mean_x) ** 2 for i in range(n))
w = num / den if abs(den) > 1e-9 else 0.0
b = mean_y - w * mean_x
mse = sum((w * xs[i] + b - ys[i]) ** 2 for i in range(n)) / n
print(f"w={w:.4f} b={b:.4f} MSE={mse:.4f}")
for qx in q_xs:
pred = w * qx + b
print(f"{pred:.4f}")
if __name__ == "__main__":
main()
#include <iostream>
#include <vector>
#include <cmath>
#include <iomanip>
using namespace std;
int main() {
ios::sync_with_stdio(false);
cin.tie(nullptr);
int n;
if (!(cin >> n)) return 0;
vector<double> xs(n), ys(n);
for (int i = 0; i < n; ++i) cin >> xs[i];
for (int i = 0; i < n; ++i) cin >> ys[i];
int q;
cin >> q;
vector<double> q_xs(q);
for (int i = 0; i < q; ++i) cin >> q_xs[i];
double mean_x = 0, mean_y = 0;
for (int i = 0; i < n; ++i) {
mean_x += xs[i];
mean_y += ys[i];
}
mean_x /= n;
mean_y /= n;
double num = 0, den = 0;
for (int i = 0; i < n; ++i) {
num += (xs[i] - mean_x) * (ys[i] - mean_y);
den += (xs[i] - mean_x) * (xs[i] - mean_x);
}
double w = (abs(den) > 1e-9) ? (num / den) : 0.0;
double b = mean_y - w * mean_x;
double mse = 0;
for (int i = 0; i < n; ++i) {
double diff = (w * xs[i] + b) - ys[i];
mse += diff * diff;
}
mse /= n;
cout << fixed << setprecision(4);
cout << "w=" << w << " b=" << b << " MSE=" << mse << "\n";
for (int i = 0; i < q; ++i) {
cout << w * q_xs[i] + b << "\n";
}
return 0;
}
Các giả định quan trọng của Hồi quy tuyến tính
Để mô hình hồi quy tuyến tính cho kết quả ước lượng không chệch và có ý nghĩa thống kê cao nhất, dữ liệu cần thỏa mãn 4 giả định cơ bản (định lý Gauss-Markov chỉ cần giả định 1-3 cùng với sai số có kỳ vọng bằng 0; giả định 4 về phân phối chuẩn không thuộc định lý này, chỉ cần khi tính khoảng tin cậy hay làm kiểm định):
- Tính tuyến tính (Linearity): Mối quan hệ giữa biến độc lập \(X\) và biến phụ thuộc \(Y\) phải thực sự mang tính chất tuyến tính. Nếu dữ liệu có dạng đường cong parabol, ta cần đưa thêm các đặc trưng đa thức bậc cao (\(x^2, x^3\)).
- Tính đồng nhất của phương sai (Homoscedasticity): Phương sai của các sai số thặng dư phải là hằng số trên mọi dải giá trị của \(X\). Nếu phương sai phình to ra theo \(X\) (hiện tượng heteroscedasticity), các ước lượng khoảng tin cậy sẽ không còn đáng tin cậy.
- Tính độc lập của sai số (Independence of errors): Các phần dư không được tương quan với nhau. Điều này đặc biệt quan trọng trong dữ liệu chuỗi thời gian (time-series) nơi các quan sát kế tiếp thường có tính tự tương quan (autocorrelation).
- Phân phối chuẩn của phần dư (Normality of residuals): Sai số thặng dư tuân theo phân phối chuẩn với giá trị trung bình bằng 0.
- Bẫy đa cộng tuyến (Multicollinearity): Khi hai hoặc nhiều đặc trưng độc lập có tương quan tuyến tính rất cao với nhau (ví dụ chiều dài đo bằng mét và centimet), ma trận \(X^T X\) trở nên gần như suy biến (định thức gần bằng 0), khiến nghiệm đóng bị bất ổn định số học và trọng số có thể nhảy vọt tới các giá trị khổng lồ vô lý. Hãy loại bỏ các biến trùng lặp hoặc áp dụng điều chuẩn Ridge.
- Điểm dữ liệu ngoại lai (Outliers): Do hàm mất mát MSE sử dụng lũy thừa bậc hai, các điểm ngoại lai có sai số cực lớn sẽ kéo toàn bộ đường hồi quy lệch hẳn về phía chúng, làm hỏng dự đoán cho phần lớn các điểm dữ liệu bình thường. Trong trường hợp dữ liệu có nhiều nhiễu mạnh, nên cân nhắc sử dụng hàm mất mát Huber Loss hoặc MAE.
Câu hỏi thường gặp
Khi nào nên dùng Normal Equation và khi nào nên dùng Gradient Descent?
Dùng Normal Equation khi số chiều đặc trưng \(D \le 10.000\) vì tốc độ tính toán ma trận lúc này rất nhanh trên máy tính hiện đại. Khi \(D > 10.000\) hoặc tập dữ liệu có hàng triệu dòng, Gradient Descent hoặc Mini-batch GD là lựa chọn bắt buộc để tiết kiệm bộ nhớ và tận dụng tính toán song song.
Làm thế nào để áp dụng Hồi quy tuyến tính cho dữ liệu phi tuyến?
Bạn có thể áp dụng kỹ thuật Hồi quy đa thức (Polynomial Regression). Bằng cách tạo thêm các đặc trưng lũy thừa như \(x_1^2, x_1 x_2, x_2^2\), bài toán vẫn là hồi quy tuyến tính đối với không gian tham số trọng số \(w\), nhưng đường biên dự đoán trong không gian gốc sẽ là một đường cong mượt mà.
Chỉ số \(R^2\) (R-squared) là gì và có ý nghĩa như thế nào?
Hệ số xác định \(R^2\) đo lường tỷ lệ phần trăm phương sai của biến mục tiêu được giải thích bởi các biến đầu vào trong mô hình. \(R^2 = 1 - \frac{\sum (y_i - \hat{y}_i)^2}{\sum (y_i - \bar{y})^2}\). Trên chính tập huấn luyện của mô hình có hệ số chặn \(b\), \(R^2\) nằm trong khoảng từ 0 đến 1, với 1 biểu thị mô hình dự đoán chính xác tuyệt đối 100% các điểm dữ liệu; trên dữ liệu mới, \(R^2\) có thể âm khi mô hình dự đoán kém hơn cả việc luôn đoán giá trị trung bình.
Khóa AI – Introduction to Machine Learning: nền tảng Máy học từ thuật toán cơ bản đến Neural Networks và LLM, học bằng Python. Học thử buổi 1 miễn phí.


