AI & Machine Learning

Tiền xử lý Dữ liệu và Feature Engineering trong Machine Learning

Tiền xử lý dữ liệu và Feature Engineering là khâu quyết định trực tiếp tới chất lượng mô hình học máy. Làm sạch giá trị khuyết, chuẩn hóa thang đo và sáng tạo đặc trưng đột phá giúp mô hình tối ưu hóa nhanh và đạt độ chính xác cao.

Ý chính
  • Xử lý giá trị khuyết (Missing Values): Loại bỏ mẫu khi tỷ lệ khuyết cực nhỏ, hoặc điền Median cho biến lệch có ngoại lai và điền Mode cho biến phân loại.
  • Chuẩn hóa thang đo (Scaling): Áp dụng Z-score Standardization hoặc Min-Max Normalization để cân bằng thang đo, tăng tốc Gradient Descent.
  • Mã hóa biến phân loại (Encoding): One-Hot Encoding cho biến danh nghĩa và Ordinal Encoding cho biến có thứ bậc rõ ràng.
  • Feature Engineering: Sáng tạo biến tương tác, log-transform biến lệch phải và trích xuất các thành phần thời gian giàu ý nghĩa.

1. Bước 1: Xử lý giá trị khuyết (Handling Missing Values)

Trong giới khoa học dữ liệu có một câu châm ngôn kinh điển: "Dữ liệu và đặc trưng quyết định giới hạn trần hiệu năng của mô hình học máy; thuật toán và mạng nơ-ron chỉ là công cụ giúp chạm tới giới hạn trần đó". Thực tế cho thấy, dữ liệu thô thu thập từ doanh nghiệp thường đầy rẫy lỗi: giá trị bị khuyết, định dạng văn bản lộn xộn, các biến có thang đo chênh lệch hàng triệu lần và chứa nhiều đặc trưng nhiễu. Nếu áp dụng thuật toán ngay lập tức, bạn sẽ nhận lại kết quả sai lệch theo đúng quy luật "Garbage in, Garbage out".

Tiền Xử Lý Dữ Liệu & Đặc Trưng Quy trình chuyển đổi dữ liệu thô thành đầu vào tối ưu cho mô hình 1. Điền Khuyết Xử lý giá trị NaN Điền Mean / Median 2. Mã Hóa Từ Biến danh mục One-Hot Encoding Label Encoding 3. Chuẩn Hóa Đưa về cùng tỷ lệ StandardScaler MinMaxScaler 4. Tạo Đặc Trưng Kết hợp các cột Đa thức tương tác Tăng độ chính xác Dữ liệu chất lượng cao quyết định giới hạn trên của mô hình
Tiền Xử Lý Dữ Liệu 1. Điền giá trị khuyết Thay thế NaN bằng Mean, Median 2. Mã hóa danh mục One-Hot Encoding sang số nhị phân 3. Chuẩn hóa thang đo StandardScaler đưa mean=0, std=1 4. Tạo thêm đặc trưng Kết hợp các cột tạo thông tin mới
Hình 1. Quy trình 4 bước tiền xử lý dữ liệu và chế tác đặc trưng chuẩn kỹ sư trong Machine Learning.

Giá trị bị thiếu (thường biểu diễn dưới dạng NaN, null, hoặc mã số âm như -999) có thể xuất hiện do lỗi cảm biến, người dùng không chịu trả lời khảo sát hoặc sự cố kết nối mạng.

Các chiến lược xử lý chuẩn mực:

  1. Loại bỏ dữ liệu (Dropping):
    • Xóa dòng: Chỉ áp dụng khi số lượng mẫu khuyết rất nhỏ (dưới 1-2% tổng dữ liệu).
    • Xóa cột: Áp dụng khi một đặc trưng bị thiếu tới hơn 50-60% dữ liệu và không thể thu thập bổ sung.
  2. Điền giá trị thống kê (Statistical Imputation):
    • Điền Mean (Trung bình): Phù hợp với các biến số có phân phối chuẩn đối xứng hình chuông.
    • Điền Median (Trung vị): Bắt buộc sử dụng khi dữ liệu có phân phối lệch (Skewed) hoặc chứa nhiều điểm ngoại lai (Outliers) như biến Thu nhập, Giá nhà.
    • Điền Mode (Yếu vị): Điền giá trị xuất hiện thường xuyên nhất, phù hợp cho các biến phân loại danh nghĩa (Categorical).
  3. Mô hình dự đoán điền khuyết nâng cao:
    • Sử dụng thuật toán KNN Imputer để tìm \(K\) mẫu lân cận có đặc tính tương đồng nhất để tính giá trị thay thế.

2. Bước 2: Chuẩn hóa đặc trưng số (Feature Scaling)

Khi một đặc trưng có giá trị dao động từ \(0\) đến \(1\) (như Điểm GPA) trong khi đặc trưng khác lại dao động từ \(10.000.000\) đến \(100.000.000\) (Thu nhập hàng năm), các thuật toán dựa trên khoảng cách (KNN, K-Means, SVM) hoặc tối ưu hóa Gradient Descent sẽ bị tê liệt:

  • Thuật toán khoảng cách sẽ xem nhẹ hoàn toàn biến GPA vì độ biến thiên của Thu nhập quá áp đảo.
  • Gradient Descent sẽ tạo ra các đường đồng mức elip hẹp dài, khiến quỹ đạo cập nhật bị dao động zigzag dữ dội, tốn hàng nghìn bước lặp mới có thể hội tụ.

Hai phương pháp chuẩn hóa phổ biến nhất:

1. Z-score Standardization (StandardScaler)

Biến đổi dữ liệu về phân phối có giá trị trung bình \(\mu = 0\) và độ lệch chuẩn \(\sigma = 1\): \[z = \frac{x - \mu}{\sigma}\]

  • Ưu điểm: Không giới hạn miền giá trị trong một khoảng cố định, cực kỳ thích hợp cho các thuật toán tối ưu hóa tuyến tính, SVM, Hồi quy Logistic và Mạng Nơ-ron. Lưu ý: cả StandardScaler và Min-Max đều rất nhạy với ngoại lai; khi dữ liệu có nhiều ngoại lai, nên dùng RobustScaler.

2. Min-Max Normalization (MinMaxScaler)

Co giãn dữ liệu về đoạn cố định \([0, 1]\) (hoặc \([-1, 1]\)): \[x_{\text{norm}} = \frac{x - x_{\min}}{x_{\max} - x_{\min}}\]

  • Ưu điểm: Giữ nguyên được mối quan hệ tỷ lệ giữa các điểm dữ liệu và triệt tiêu được các đơn vị đo lường khác nhau. Thích hợp cho xử lý ảnh số hoặc các thuật toán yêu cầu giá trị đầu vào không âm.

3. Bước 3: Mã hóa biến phân loại (Categorical Encoding)

Máy tính và các giải thuật toán học chỉ có thể thực hiện phép tính trên các con số, do đó các biến dạng chuỗi chữ (như Thành phố: ["Hà Nội", "Đà Nẵng", "TP.HCM"]) bắt buộc phải được mã hóa:

One-Hot Encoding

Tạo ra một cột nhị phân mới (\(0\) hoặc \(1\)) cho mỗi giá trị phân loại khác nhau:

  • "Hà Nội" \(\to [1, 0, 0]\)
  • "Đà Nẵng" \(\to [0, 1, 0]\)
  • "TP.HCM" \(\to [0, 0, 1]\)
  • Khi nào dùng: Thích hợp cho các biến danh nghĩa (Nominal Data) không có quan hệ thứ bậc. Lưu ý: Nếu một cột có hàng nghìn giá trị phân loại độc nhất, One-Hot Encoding sẽ gây ra hiện tượng bùng nổ số chiều.

Ordinal Encoding (OrdinalEncoder)

Gán mỗi giá trị thành một số nguyên liên tiếp theo thứ bậc tự nhiên:

  • Ví dụ Trình độ học vấn: ["Tiểu học", "Cấp 3", "Đại học", "Thạc sĩ"] \(\to [0, 1, 2, 3]\).
  • Khi nào dùng: Bắt buộc khi các giá trị có quan hệ hơn kém rõ rệt. Lưu ý: LabelEncoder của Scikit-learn chỉ dành cho nhãn đầu ra \(y\), không dùng cho đặc trưng.

4. Bước 4: Chế tác đặc trưng đột phá (Feature Engineering)

Nếu như tiền xử lý giúp làm sạch dữ liệu, thì Feature Engineering chính là nghệ thuật sáng tạo ra các biến số mới mang tính dự báo cao dựa trên sự am hiểu sâu sắc về nghiệp vụ (Domain Knowledge):

  1. Biến đổi tương tác (Interaction Features): Kết hợp 2 biến số cơ bản để tạo nên một góc nhìn mới. Ví dụ trong dự đoán giá bất động sản, việc tạo thêm đặc trưng \(\text{Diện tích mỗi phòng} = \frac{\text{Diện tích}}{\text{Số phòng}}\) có thể giúp mô hình hơn việc để hai biến đứng riêng lẻ. Lưu ý: không tạo đặc trưng từ chính biến cần dự đoán (như \(\frac{\text{Tổng giá}}{\text{Diện tích}}\)), vì lúc dự đoán chưa có giá; đó là rò rỉ dữ liệu.
  2. Biến đổi Log (Log Transformation): Đối với các biến số có phân phối lệch phải cực đoan như Doanh thu, Lượng theo dõi trên mạng xã hội, việc lấy hàm \(\log(1 + x)\) giúp nén các giá trị siêu lớn lại, biến phân phối trở nên chuẩn mực đối xứng hình chuông.
  3. Trích xuất thông tin Thời gian (Datetime Engineering): Từ một cột ngày tháng thô như 2026-11-11 08:30:00, kỹ sư có thể bóc tách ra hàng loạt biến có giá trị cao: Thứ trong tuần, Là cuối tuần (Is_Weekend), Khung giờ cao điểm (Peak_Hour), Tháng trong năm.
  4. Phân nhóm (Binning / Discretization): Gom biến tuổi tác liên tục thành các nhóm thế hệ: Dưới 18, 18-35, 36-50, Trên 50 để giúp mô hình cây quyết định nắm bắt hành vi tiêu dùng dễ dàng hơn.

5. Ví dụ chạy tay quy trình Pipeline hoàn chỉnh

Xét một bảng dữ liệu 4 dòng và 2 cột đặc trưng: Cột 1 là Tuổi, Cột 2 là Thu nhập (đơn vị triệu đồng), trong đó -999.0 biểu thị giá trị bị thiếu:

Mẫu \(i\) Cột 1 (Tuổi) Cột 2 (Thu nhập)
1 \(20.0\) \(10.0\)
2 \(30.0\) \(-999.0\) (Thiếu)
3 \(-999.0\) (Thiếu) \(20.0\)
4 \(40.0\) \(30.0\)

Bước 1: Điền giá trị khuyết bằng Mean của các giá trị hợp lệ

  • Cột 1: Các giá trị hợp lệ là \(\{20.0, 30.0, 40.0\} \implies \text{Mean}_1 = \frac{20+30+40}{3} = 30.0\).
    • Mẫu 3 được điền giá trị \(30.0\).
  • Cột 2: Các giá trị hợp lệ là \(\{10.0, 20.0, 30.0\} \implies \text{Mean}_2 = \frac{10+20+30}{3} = 20.0\).
    • Mẫu 2 được điền giá trị \(20.0\).

Bảng sau khi điền khuyết:

  • Mẫu 1: \([20.0, 10.0]\)
  • Mẫu 2: \([30.0, 20.0]\)
  • Mẫu 3: \([30.0, 20.0]\)
  • Mẫu 4: \([40.0, 30.0]\)

Bước 2: Chuẩn hóa Z-score (StandardScaler)

  • Cột 1:

    • \(\mu_1 = \frac{20 + 30 + 30 + 40}{4} = 30.0\).
    • \(\sigma_1^2 = \frac{(20-30)^2 + 0 + 0 + (40-30)^2}{4} = \frac{100 + 100}{4} = 50.0 \implies \sigma_1 = \sqrt{50} \approx 7.0711\).
    • Giá trị chuẩn hóa Cột 1: \([-1.4142, 0.0000, 0.0000, 1.4142]\).
  • Cột 2:

    • \(\mu_2 = \frac{10 + 20 + 20 + 30}{4} = 20.0\).
    • \(\sigma_2^2 = \frac{(10-20)^2 + 0 + 0 + (30-20)^2}{4} = \frac{100 + 100}{4} = 50.0 \implies \sigma_2 = \sqrt{50} \approx 7.0711\).
    • Giá trị chuẩn hóa Cột 2: \([-1.4142, 0.0000, 0.0000, 1.4142]\).

Cả hai đặc trưng giờ đây đều có trung bình bằng 0, độ lệch chuẩn bằng 1 và cân bằng thang đo hoàn hảo!

Học cùng giảng viên

Chủ đề này nằm trong Lecture 01 - Data Preprocess and Visualization của Khóa AI. Xem đề cương

6. Cài đặt Data Preprocessing Pipeline bằng Python và C++

import math

def preprocess_pipeline(matrix):
    n_rows = len(matrix)
    n_cols = len(matrix[0])
    
    # 1. Impute missing (-999.0) with column mean of valid values
    imputed = [row[:] for row in matrix]
    for c in range(n_cols):
        valid_vals = [matrix[r][c] for r in range(n_rows) if matrix[r][c] != -999.0]
        col_mean = sum(valid_vals) / len(valid_vals) if valid_vals else 0.0
        for r in range(n_rows):
            if imputed[r][c] == -999.0:
                imputed[r][c] = col_mean

    # 2. Standard Scaler (Z-score)
    res = []
    for c in range(n_cols):
        col_vals = [imputed[r][c] for r in range(n_rows)]
        mu = sum(col_vals) / n_rows
        var = sum((v - mu) ** 2 for v in col_vals) / n_rows
        std = math.sqrt(var) if var > 1e-9 else 1.0
        for r in range(n_rows):
            imputed[r][c] = (imputed[r][c] - mu) / std

    flat = []
    for r in range(n_rows):
        for c in range(n_cols):
            flat.append(round(imputed[r][c], 4))
    return flat

def solve(case):
    return preprocess_pipeline(case)

7. Bảng so sánh các kỹ thuật chuẩn hóa phổ biến

Phương pháp chuẩn hóa Công thức tính toán Phạm vi đầu ra Độ nhạy ngoại lai Mô hình phù hợp nhất
StandardScaler (Z-score) \(z = \frac{x - \mu}{\sigma}\) \((-\infty, +\infty)\) Cao SVM, Logistic Regression, Mạng Deep Learning
MinMaxScaler \(x_{\text{norm}} = \frac{x - x_{\min}}{x_{\max} - x_{\min}}\) \([0, 1]\) Rất cao Xử lý ảnh số, Mạng nơ-ron với hàm kích hoạt hữu hạn
RobustScaler \(x_{\text{rob}} = \frac{x - Q_2}{Q_3 - Q_1}\) Không cố định Cực thấp (Kháng ngoại lai) Dữ liệu tài chính, phát hiện giao dịch bất thường

8. Câu hỏi thường gặp

Các mô hình cây như Random Forest và XGBoost có cần chuẩn hóa dữ liệu không?

Không. Các thuật toán dựa trên cây quyết định (Decision Tree, Random Forest, XGBoost, LightGBM) chỉ quan tâm đến thứ tự phân tách tương đối (Monotonic Order) của từng đặc trưng chứ không phụ thuộc vào độ lớn của khoảng cách hình học. Việc chuẩn hóa Z-score hay Min-Max hoàn toàn không làm thay đổi điểm phân nhánh của cây. Về giá trị khuyết và biến phân loại: XGBoost và LightGBM tự xử lý giá trị khuyết (NaN) theo mặc định, LightGBM còn nhận trực tiếp biến phân loại đã mã hóa số nguyên qua tham số categorical_feature; với các thư viện cây khác, hãy xem tài liệu trước khi bỏ bước điền khuyết và mã hóa.

Tại sao không nên dùng One-Hot Encoding cho cột có nhiều giá trị như Mã bưu điện (Zipcode)?

Nếu cột Mã bưu điện có \(1.000\) giá trị khác nhau, One-Hot Encoding sẽ tạo ra thêm \(1.000\) cột mới, trong đó mỗi dòng chứa tới \(999\) số 0 (Ma trận thưa - Sparse Matrix). Điều này làm bùng nổ dung lượng bộ nhớ, tăng nguy cơ overfitting do lời nguyền số chiều (Curse of Dimensionality). Trong tình huống này, kỹ thuật Target Encoding (thay mã bằng tỷ lệ trung bình của biến mục tiêu) hoặc Frequency Encoding là giải pháp ưu việt hơn nhiều.

9. Kỹ thuật Mã hóa Biến Định danh Nâng cao (Categorical Encoding)

Trong các tập dữ liệu thực tế, phần lớn thông tin được lưu trữ dưới dạng các biến định danh phi số học như tên thành phố, ngành nghề kinh doanh, trình độ học vấn hay loại thiết bị người dùng. Để máy tính có thể hiểu và xử lý, chúng ta cần chuyển đổi chúng thành các biểu diễn số học phù hợp:

Thứ nhất là Mã hóa Thứ bậc Ordinal Encoding. Phương pháp này áp dụng cho các biến phân loại có trật tự tự nhiên rõ ràng, ví dụ trình độ học vấn từ Tiểu học, Trung học, Đại học đến Sau đại học được ánh xạ tuần tự thành các số nguyên 0, 1, 2, 3. Việc duy trì khoảng cách thứ bậc này giúp các mô hình học máy khai thác mối quan hệ tăng tiến của dữ liệu.

Thứ hai là Mã hóa One-Hot Encoding. Với các biến định danh danh nghĩa không có trật tự tự nhiên (như màu sắc, quốc tịch, hệ điều hành), One-Hot biến mỗi giá trị phân loại thành một vector nhị phân độc lập. Ưu điểm là không áp đặt bất kỳ quan hệ thứ bậc giả tạo nào giữa các giá trị. Tuy nhiên, nhược điểm là khi một cột có lực lượng phân loại cao (High Cardinality, ví dụ mã bưu chính hoặc danh mục hàng hóa với hàng nghìn giá trị), One-Hot sẽ làm bùng nổ số chiều dữ liệu, gây lãng phí bộ nhớ và khiến mô hình dễ bị overfitting.

Thứ ba là Mã hóa theo Mục tiêu Target Encoding. Đây là vũ khí bí mật giúp các chuyên gia hàng đầu thống trị các bảng xếp hạng thi đấu Kaggle. Thay vì tạo ra hàng trăm cột mới, Target Encoding thay thế mỗi giá trị phân loại bằng giá trị trung bình của biến mục tiêu tương ứng trong tập dữ liệu. Để ngăn chặn hiện tượng học vẹt và rò rỉ dữ liệu, kỹ sư bắt buộc phải kết hợp kỹ thuật làm trơn Smoothing và áp dụng cơ chế Out-of-Fold để đảm bảo giá trị mã hóa của mỗi mẫu không bị chi phối bởi chính nhãn mục tiêu của mẫu đó.

10. Biến đổi Phân phối Đặc trưng bằng Phép biến đổi Logarithm và Box-Cox

Nhiều thuật toán học máy cổ điển như Hồi quy tuyến tính, Hồi quy Logistic hay Mạng nơ-ron nhân tạo hoạt động hiệu quả nhất khi các đặc trưng đầu vào tuân theo phân phối chuẩn hình chuông cân đối (Gaussian Distribution). Tuy nhiên, trong thực tế, các biến số kinh tế và xã hội như thu nhập cá nhân, giá trị giao dịch tài chính hay lượt tương tác mạng xã hội thường có phân phối lệch phải nghiêm trọng (Right-skewed Distribution) với phần đuôi rất dài do sự hiện diện của một nhóm nhỏ người có thu nhập cực cao.

Nếu đưa trực tiếp dữ liệu lệch vào huấn luyện, các mô hình tuyến tính sẽ bị kéo lệch hoàn toàn theo các giá trị khổng lồ ở đuôi phân phối. Để khắc phục, chúng ta áp dụng Phép biến đổi Logarithm. Hàm logarit có tính chất kỳ diệu: nó nén mạnh mẽ các giá trị cực lớn trong khi kéo giãn khoảng cách giữa các giá trị nhỏ gần 0, biến một phân phối lệch dài thành một phân phối hình chuông cân đối gần như chuẩn tắc.

Đối với các bài toán đòi hỏi sự chuẩn hóa toán học khắt khe hơn, Phép biến đổi Box-Cox và Yeo-Johnson là công cụ tự động tìm kiếm tham số tối ưu lambda để chuyển đổi dữ liệu thực tế về phân phối gần với phân phối chuẩn nhất có thể. Nhờ việc phân phối dữ liệu trở nên đối xứng và ổn định, quá trình tối ưu hóa Gradient Descent sẽ hội tụ nhanh hơn gấp nhiều lần và giảm thiểu rủi ro bị nhiễu bởi các mẫu dữ liệu dị biệt.

Muốn học bài bản cùng giảng viên?

Khóa AI – Introduction to Machine Learning: nền tảng Máy học từ thuật toán cơ bản đến Neural Networks và LLM, học bằng Python. Học thử buổi 1 miễn phí.

Xem Khóa AI

Nguồn tham khảo

Chia sẻ: Facebook LinkedIn
Nhắn Zalo tư vấnZalo Gọi 0937 401 483