- Định lý Bayes: Tính toán xác suất hậu nghiệm \(P(C \mid \mathbf{x})\) từ xác suất tiên nghiệm \(P(C)\) và xác suất hợp lý (Likelihood) \(P(\mathbf{x} \mid C)\).
- Giả định độc lập ngây thơ: Giả định mọi từ ngữ trong văn bản xuất hiện độc lập nhau khi biết nhãn lớp, giúp đơn giản hóa tích xác suất nhiều chiều.
- Làm mịn Laplace (Laplace Smoothing): Cộng hằng số \(\alpha = 1\) để ngăn xác suất bằng 0 khi một từ có trong từ điển nhưng chưa từng xuất hiện trong một lớp (từ hoàn toàn mới, không có trong từ điển, thì được bỏ qua khi phân loại).
- Biến thể đa dạng: Multinomial Naive Bayes cho dữ liệu đếm tần suất, Bernoulli cho dữ liệu nhị phân và Gaussian cho biến số thực liên tục.
1. Cơ sở toán học: Từ Định lý Bayes đến Giả định Ngây thơ
Trong lịch sử phát triển của Internet, bộ lọc thư rác (Spam Filter) đầu tiên bảo vệ hòm thư hàng tỷ người dùng trên toàn cầu được xây dựng dựa trên một thuật toán xác suất đơn giản nhưng hiệu quả kinh ngạc: Naive Bayes. Dù ra đời từ nhiều thập kỷ trước và dựa trên một giả định bị xem là "ngây thơ" đến mức phi thực tế, Naive Bayes vẫn đứng vững như một trong những giải thuật phân loại văn bản có tốc độ thực thi nhanh nhất và độ chính xác đáng nể trong khoa học dữ liệu.
Trọng tâm của thuật toán là Định lý Bayes, công thức nền tảng của lý thuyết xác suất thống kê giúp cập nhật niềm tin về một sự kiện khi có thêm bằng chứng thực nghiệm: \[P(C \mid \mathbf{x}) = \frac{P(\mathbf{x} \mid C) \cdot P(C)}{P(\mathbf{x})}\]
Trong bài toán phân loại email:
- \(C\): Nhãn lớp cần phân loại (ví dụ \(C \in \{\text{Spam}, \text{Ham}\}\)).
- \(\mathbf{x} = (x_1, x_2, \dots, x_D)\): Vector biểu diễn văn bản, trong đó \(x_i\) là số lần xuất hiện của từ thứ \(i\) trong từ điển.
- \(P(C)\): Xác suất tiên nghiệm (Prior probability), phản ánh tỷ lệ thư rác tổng thể trong hệ thống.
- \(P(\mathbf{x} \mid C)\): Xác suất hợp lý (Likelihood), xác suất một email thuộc lớp \(C\) chứa đúng tổ hợp các từ \(\mathbf{x}\).
- \(P(C \mid \mathbf{x})\): Xác suất hậu nghiệm (Posterior probability), xác suất email đang xét là Spam khi đã đọc nội dung \(\mathbf{x}\).
Để tìm nhãn lớp có xác suất cao nhất, ta áp dụng nguyên lý Maximum A Posteriori (MAP): \[\hat{y} = \arg\max_{c} P(C = c \mid \mathbf{x}) = \arg\max_{c} \frac{P(\mathbf{x} \mid C = c) \cdot P(C = c)}{P(\mathbf{x})}\] Do mẫu số \(P(\mathbf{x})\) không đổi đối với mọi lớp \(c\), ta có thể bỏ qua mẫu số: \[\hat{y} = \arg\max_{c} P(\mathbf{x} \mid C = c) \cdot P(C = c)\]
Vì sao gọi là "Naive" (Ngây thơ)?
Việc ước lượng xác suất đồng thời \(P(x_1, x_2, \dots, x_D \mid C)\) trên toàn bộ từ điển \(D\) từ là bất khả thi, vì số lượng tổ hợp từ tăng theo cấp số nhân \(2^D\).
Thuật toán đưa ra một giả định đơn giản hóa triệt để: Mọi đặc trưng (từ ngữ) đều độc lập có điều kiện với nhau khi biết trước nhãn lớp \(C\): \[P(x_1, x_2, \dots, x_D \mid C) = \prod_{j=1}^D P(x_j \mid C)\]
Giả định này rõ ràng là "ngây thơ", bởi vì trong ngôn ngữ tự nhiên, các từ ngữ luôn có mối tương quan ngữ nghĩa mật thiết (ví dụ từ "chuyển khoản" thường đi kèm với "ngân hàng" hoặc "tiền"). Thế nhưng trong thực tiễn, việc xếp hạng xác suất tương đối giữa các lớp hầu như không bị ảnh hưởng bởi giả định độc lập này, giúp Naive Bayes đạt độ chính xác phân loại đáng kinh ngạc.
2. Kỹ thuật làm mịn Laplace Smoothing (Tránh xác suất 0)
Giả sử trong tập dữ liệu huấn luyện, từ "Bitcoin" xuất hiện nhiều lần trong các email Spam, nhưng chưa từng xuất hiện trong email thông thường (Ham). Khi một khách hàng nhận được email công việc có chứa từ "Bitcoin", xác suất \(P(\text{"Bitcoin"} \mid \text{Ham})\) sẽ bằng 0 tuyệt đối.
Vì công thức Naive Bayes nhân dồn xác suất của mọi từ: \[P(\mathbf{x} \mid \text{Ham}) = P(x_1 \mid \text{Ham}) \times \dots \times P(\text{"Bitcoin"} \mid \text{Ham}) \times \dots \times P(x_D \mid \text{Ham}) = 0\] Chỉ vì một từ duy nhất chưa từng gặp, toàn bộ xác suất của lớp Ham bị triệt tiêu về 0, khiến hệ thống tự động gắn cờ email quan trọng đó là Spam!
Để khắc phục hiện tượng này, nhà toán học Pierre-Simon Laplace đã đề xuất kỹ thuật Làm mịn Laplace (Laplace Smoothing / Add-one Smoothing): Cộng thêm một lượng ảo \(\alpha\) (thường chọn \(\alpha = 1\)) vào tử số và cộng \(\alpha \cdot |V|\) vào mẫu số: \[P(w \mid C) = \frac{\text{Count}(w, C) + \alpha}{\sum_{w' \in V} \text{Count}(w', C) + \alpha \cdot |V|}\] Trong đó:
- \(\text{Count}(w, C)\): Tổng số lần từ \(w\) xuất hiện trong các tài liệu thuộc lớp \(C\).
- \(|V|\): Kích thước của toàn bộ vốn từ vựng (Vocabulary size). Nhờ Laplace Smoothing, ngay cả khi một từ chưa từng xuất hiện trong lớp \(C\), xác suất của nó vẫn giữ một giá trị dương nhỏ \(\frac{1}{\text{Total} + |V|}\), bảo vệ mô hình khỏi lỗi toán học nghiêm trọng.
3. Các biến thể phổ biến của thuật toán Naive Bayes
Tùy thuộc vào bản chất phân phối của dữ liệu đầu vào, Naive Bayes được chia thành 3 biến thể kinh điển:
- Multinomial Naive Bayes: Dành cho dữ liệu đếm tần suất (Word Counts hoặc Bag-of-Words). Đây là biến thể tiêu chuẩn vàng cho bài toán phân loại văn bản và lọc thư rác.
- Bernoulli Naive Bayes: Dành cho dữ liệu nhị phân (Binary Features, 0 hoặc 1). Mỗi từ chỉ được quan tâm là có xuất hiện trong văn bản hay không, bỏ qua tần suất lặp lại. Rất hiệu quả cho các văn bản ngắn như tin nhắn SMS hoặc bình luận mạng xã hội.
- Gaussian Naive Bayes: Dành cho các đặc trưng số liên tục (Continuous Features) như chiều cao, cân nặng, điện áp. Thuật toán giả định mỗi đặc trưng trong từng lớp tuân theo phân phối chuẩn Gauss: \[P(x_i \mid C) = \frac{1}{\sqrt{2\pi \sigma_C^2}} \exp\left(-\frac{(x_i - \mu_C)^2}{2\sigma_C^2}\right)\] Trong đó \(\mu_C\) và \(\sigma_C^2\) lần lượt là giá trị trung bình và phương sai được tính trên tập huấn luyện của lớp \(C\).
4. Ví dụ chạy tay từng bước phân loại Spam
Xét bài toán phân loại thư rác với từ điển thu gọn gồm 4 từ: \(V = \{\text{khuyến mãi}, \text{trúng thưởng}, \text{dự án}, \text{họp}\}\).
Tập huấn luyện gồm 4 email đã gắn nhãn:
- Email 1 (Spam): "khuyến mãi", "trúng thưởng", "khuyến mãi" \(\to [2, 1, 0, 0]\)
- Email 2 (Spam): "trúng thưởng", "khuyến mãi" \(\to [1, 1, 0, 0]\)
- Email 3 (Ham): "dự án", "họp", "dự án" \(\to [0, 0, 2, 1]\)
- Email 4 (Ham): "họp", "dự án" \(\to [0, 0, 1, 1]\)
Bước 1: Tính xác suất tiên nghiệm
- Tổng số email: \(N = 4\).
- Số email Spam \(= 2 \implies P(\text{Spam}) = 2/4 = 0.5\).
- Số email Ham \(= 2 \implies P(\text{Ham}) = 2/4 = 0.5\).
Bước 2: Thống kê số lượng từ và tính xác suất có điều kiện (với \(\alpha = 1, |V| = 4\))
- Tổng số từ trong Spam: \(N_{\text{Spam}} = (2+1) + (1+1) = 5\) từ.
- Tổng số từ trong Ham: \(N_{\text{Ham}} = (2+1) + (1+1) = 5\) từ.
- Mẫu số làm mịn: \(\text{Total} + |V| = 5 + 4 = 9\).
Bảng xác suất điều kiện sau khi làm mịn:
- \(P(\text{khuyến mãi} \mid \text{Spam}) = \frac{3 + 1}{9} = \frac{4}{9} \approx 0.444\)
- \(P(\text{trúng thưởng} \mid \text{Spam}) = \frac{2 + 1}{9} = \frac{3}{9} \approx 0.333\)
- \(P(\text{dự án} \mid \text{Spam}) = \frac{0 + 1}{9} = \frac{1}{9} \approx 0.111\)
- \(P(\text{họp} \mid \text{Spam}) = \frac{0 + 1}{9} = \frac{1}{9} \approx 0.111\)
Tương tự cho lớp Ham:
- \(P(\text{khuyến mãi} \mid \text{Ham}) = \frac{0 + 1}{9} = \frac{1}{9} \approx 0.111\)
- \(P(\text{trúng thưởng} \mid \text{Ham}) = \frac{0 + 1}{9} = \frac{1}{9} \approx 0.111\)
- \(P(\text{dự án} \mid \text{Ham}) = \frac{3 + 1}{9} = \frac{4}{9} \approx 0.444\)
- \(P(\text{họp} \mid \text{Ham}) = \frac{2 + 1}{9} = \frac{3}{9} \approx 0.333\)
Bước 3: Phân loại email kiểm tra mới
Email mới: "khuyến mãi", "dự án" \(\to\) chứa 1 lần từ "khuyến mãi" và 1 lần từ "dự án".
Tính điểm số cho từng lớp:
- Score(Spam): \[P(\text{Spam}) \times P(\text{khuyến mãi} \mid \text{Spam}) \times P(\text{dự án} \mid \text{Spam}) = 0.5 \times \frac{4}{9} \times \frac{1}{9} = \frac{2}{81} \approx 0.0247\]
- Score(Ham): \[P(\text{Ham}) \times P(\text{khuyến mãi} \mid \text{Ham}) \times P(\text{dự án} \mid \text{Ham}) = 0.5 \times \frac{1}{9} \times \frac{4}{9} = \frac{2}{81} \approx 0.0247\]
Nếu email có thêm 1 từ "khuyến mãi" nữa: Score(Spam) sẽ tăng vọt lên \(0.0247 \times \frac{4}{9} \approx 0.011\), trong khi Score(Ham) chỉ là \(0.0247 \times \frac{1}{9} \approx 0.0027 \implies\) Hệ thống quyết định chính xác là Spam!
Chủ đề này nằm trong Lecture 07 - Naive Bayes của Khóa AI. Xem đề cương
5. Cài đặt Multinomial Naive Bayes bằng Python và C++
Để ngăn ngừa lỗi tràn số thực (Arithmetic Underflow) khi nhân liên tiếp hàng trăm xác suất nhỏ hơn 1, trong thực tế kỹ sư luôn tính toán trên miền Logarit: \[\log P(C \mid \mathbf{x}) \propto \log P(C) + \sum_{j=1}^D x_j \cdot \log P(w_j \mid C)\]
import math
def multinomial_nb(train_docs, train_labels, test_docs, alpha=1.0):
n_docs = len(train_docs)
n_vocab = len(train_docs[0])
# priors
c0_docs = sum(1 for y in train_labels if y == 0)
c1_docs = n_docs - c0_docs
prior0 = math.log(c0_docs / n_docs)
prior1 = math.log(c1_docs / n_docs)
# word counts per class
counts0 = [0.0] * n_vocab
counts1 = [0.0] * n_vocab
total0 = 0.0
total1 = 0.0
for i in range(n_docs):
y = train_labels[i]
for w in range(n_vocab):
c = train_docs[i][w]
if y == 0:
counts0[w] += c
total0 += c
else:
counts1[w] += c
total1 += c
# log conditionals with Laplace smoothing
denom0 = total0 + alpha * n_vocab
denom1 = total1 + alpha * n_vocab
log_cond0 = [math.log((counts0[w] + alpha) / denom0) for w in range(n_vocab)]
log_cond1 = [math.log((counts1[w] + alpha) / denom1) for w in range(n_vocab)]
preds = []
for doc in test_docs:
score0 = prior0 + sum(doc[w] * log_cond0[w] for w in range(n_vocab))
score1 = prior1 + sum(doc[w] * log_cond1[w] for w in range(n_vocab))
preds.append(1 if score1 > score0 else 0)
return preds
def solve(case):
train_docs, train_labels, test_docs = case
return multinomial_nb(train_docs, train_labels, test_docs)
#include <iostream>
#include <vector>
#include <cmath>
std::vector<int> multinomial_nb(const std::vector<std::vector<int>>& train_docs,
const std::vector<int>& train_labels,
const std::vector<std::vector<int>>& test_docs,
double alpha = 1.0) {
int n_docs = train_docs.size();
int n_vocab = train_docs[0].size();
int c0_docs = 0;
for (int y : train_labels) if (y == 0) c0_docs++;
int c1_docs = n_docs - c0_docs;
double prior0 = std::log((double)c0_docs / n_docs);
double prior1 = std::log((double)c1_docs / n_docs);
std::vector<double> counts0(n_vocab, 0.0), counts1(n_vocab, 0.0);
double total0 = 0.0, total1 = 0.0;
for (int i = 0; i < n_docs; ++i) {
int y = train_labels[i];
for (int w = 0; w < n_vocab; ++w) {
int c = train_docs[i][w];
if (y == 0) {
counts0[w] += c;
total0 += c;
} else {
counts1[w] += c;
total1 += c;
}
}
}
double denom0 = total0 + alpha * n_vocab;
double denom1 = total1 + alpha * n_vocab;
std::vector<double> log_cond0(n_vocab), log_cond1(n_vocab);
for (int w = 0; w < n_vocab; ++w) {
log_cond0[w] = std::log((counts0[w] + alpha) / denom0);
log_cond1[w] = std::log((counts1[w] + alpha) / denom1);
}
std::vector<int> preds;
preds.reserve(test_docs.size());
for (const auto& doc : test_docs) {
double score0 = prior0;
double score1 = prior1;
for (int w = 0; w < n_vocab; ++w) {
score0 += doc[w] * log_cond0[w];
score1 += doc[w] * log_cond1[w];
}
preds.push_back(score1 > score0 ? 1 : 0);
}
return preds;
}
int main() {
int n_docs, n_vocab, n_test;
if (!(std::cin >> n_docs >> n_vocab >> n_test)) return 0;
std::vector<std::vector<int>> train_docs(n_docs, std::vector<int>(n_vocab));
std::vector<int> train_labels(n_docs);
for (int i = 0; i < n_docs; ++i) {
for (int w = 0; w < n_vocab; ++w) std::cin >> train_docs[i][w];
std::cin >> train_labels[i];
}
std::vector<std::vector<int>> test_docs(n_test, std::vector<int>(n_vocab));
for (int i = 0; i < n_test; ++i) {
for (int w = 0; w < n_vocab; ++w) std::cin >> test_docs[i][w];
}
auto preds = multinomial_nb(train_docs, train_labels, test_docs);
for (int i = 0; i < (int)preds.size(); ++i) {
if (i > 0) std::cout << " ";
std::cout << preds[i];
}
std::cout << "\n";
return 0;
}
6. Ưu và nhược điểm thực tế của Naive Bayes
Ưu điểm
- Tốc độ huấn luyện siêu tốc: Quá trình huấn luyện chỉ đơn giản là phép đếm tần suất một lần qua dữ liệu, độ phức tạp \(O(N \cdot D)\), không cần lặp Gradient Descent.
- Tiêu thụ ít tài nguyên: Bộ nhớ chỉ cần lưu trữ vector xác suất kích thước \(|V| \times K\), cực kỳ nhẹ và có thể chạy trên các vi điều khiển nhúng.
- Kháng nhiễu tốt với dữ liệu ít: Khi tập dữ liệu huấn luyện nhỏ, Naive Bayes thường cho kết quả vượt trội hơn Hồi quy Logistic vì ít bị overfitting.
Nhược điểm
- Mất mát ngữ cảnh từ ngữ: Do giả định các từ độc lập, câu "không hay chút nào" có thể bị đánh giá tích cực nếu chỉ đếm sự xuất hiện của từ "hay". Để khắc phục, người ta thường dùng n-grams (cặp 2 từ liên tiếp như "không hay").
- Xác suất dự đoán không phản ánh đúng thực tế: Mặc dù nhãn dự đoán thường chính xác, nhưng độ tin cậy xác suất xuất ra (Predicted Probabilities) thường bị dồn về cực trị \(0\) hoặc \(1\) do việc nhân nhiều phân phối độc lập.
7. Bảng so sánh 3 biến thể Naive Bayes
| Biến thể Naive Bayes | Dạng dữ liệu đầu vào | Phân phối giả định | Ứng dụng tiêu biểu |
|---|---|---|---|
| Multinomial NB | Số nguyên không âm (Tần suất đếm) | Phân phối đa thức (Multinomial) | Phân loại văn bản dài, email spam |
| Bernoulli NB | Nhị phân 0 hoặc 1 (Có / Không có) | Phân phối Bernoulli | Phân loại văn bản ngắn, tweet, sentiment |
| Gaussian NB | Số thực liên tục \((-\infty, +\infty)\) | Phân phối chuẩn Gauss \(\mathcal{N}(\mu, \sigma^2)\) | Phân loại y tế, tín hiệu cảm biến sinh học |
8. Câu hỏi thường gặp
Khi nào nên ưu tiên Naive Bayes thay vì Logistic Regression hay BERT?
Bạn nên chọn Naive Bayes làm mô hình Baseline đầu tiên khi xây dựng hệ thống xử lý ngôn ngữ tự nhiên: khi cần một bộ lọc thời gian thực với độ trễ dưới 1 mili-giây, tài nguyên máy chủ hạn chế, hoặc khi mới thu thập được vài trăm mẫu dữ liệu ban đầu. Khi tập dữ liệu lên đến hàng trăm nghìn mẫu và cần hiểu ngữ cảnh sâu sắc, các mô hình như RoBERTa hay XGBoost mới phát huy ưu thế rõ rệt.
Tại sao cộng log xác suất lại tương đương với nhân xác suất?
Do hàm logarit là một hàm đồng biến đơn điệu trên khoảng \((0, \infty)\), việc tìm điểm cực đại của tích \(\prod P_i\) hoàn toàn đồng nhất với việc tìm điểm cực đại của tổng \(\sum \log P_i\). Ngoài ra, cộng các log xác suất loại bỏ rủi ro tích số bị làm tròn về \(0.0\).
9. So sánh Chi tiết Ba Biến thể Naive Bayes Phổ biến
Tùy thuộc vào bản chất vật lý của các đặc trưng đầu vào, họ thuật toán Naive Bayes được chia thành ba biến thể chính được hiện thực hóa trong hầu hết các thư viện học máy:
Thứ nhất là Mô hình Đa thức Multinomial Naive Bayes. Đây là giải thuật chuẩn mực hàng đầu cho các bài toán phân loại văn bản sử dụng mô hình túi từ Bag-of-Words hoặc chỉ số tần suất TF-IDF. Các đặc trưng ở đây là số nguyên biểu thị số lần xuất hiện của từng từ vựng trong văn bản. Phân phối đa thức mô phỏng chính xác việc rút thăm các từ vựng từ một từ điển chung với xác suất xuất hiện tương ứng của từng lớp chủ đề.
Thứ hai là Mô hình Bernoulli Naive Bayes. Trong biến thể này, mỗi đặc trưng là một giá trị nhị phân 0 hoặc 1, biểu thị sự vắng mặt hoặc hiện diện của một từ vựng cụ thể mà không quan tâm từ đó lặp lại bao nhiêu lần. Mô hình này rất phù hợp với các đoạn văn bản ngắn (như tin nhắn SMS, tiêu đề bài báo, bình luận mạng xã hội) hoặc trong các tác vụ phát hiện sự hiện diện của các triệu chứng bệnh lý lâm sàng. Điểm khác biệt là Bernoulli Naive Bayes phạt cả sự vắng mặt: nếu một từ đặc trưng cho lớp \(c\) không xuất hiện trong văn bản, xác suất của lớp \(c\) bị nhân thêm \(1 - P(w \mid c)\), trong khi Multinomial Naive Bayes bỏ qua các từ không xuất hiện.
Thứ ba là Mô hình Phân phối Chuẩn Gaussian Naive Bayes. Biến thể này được thiết kế riêng cho các bài toán có đặc trưng là các số thực liên tục, chẳng hạn như kích thước hình học, chỉ số nhiệt độ, áp suất, điện áp hoặc nồng độ hóa chất. Thay vì đếm tần số, mô hình giả định rằng các giá trị thực của mỗi đặc trưng tuân theo một phân phối chuẩn Gauss được đặc trưng bởi giá trị trung bình và phương sai của từng lớp. Nhờ vậy, Gaussian Naive Bayes có thể huấn luyện tức thì chỉ sau một lượt quét tính trung bình và độ lệch chuẩn mà không cần lưu trữ toàn bộ dữ liệu.
10. Kỹ thuật Tính toán trong Không gian Logarithm phòng chống Underflow
Một thách thức số học nghiêm trọng khi lập trình thuật toán Naive Bayes từ đầu là hiện tượng tràn số dưới (Floating-point Underflow). Trong một bài toán phân loại email, từ điển có thể chứa từ 10.000 đến 50.000 từ vựng khác nhau. Xác suất xuất hiện của một từ hiếm gặp thường là một số thực rất nhỏ, ví dụ 0.0001.
Khi tính toán xác suất hậu nghiệm theo công thức Bayes, chúng ta phải thực hiện phép nhân liên tiếp hàng nghìn xác suất nhỏ này với nhau. Trong hệ thống máy tính với độ chính xác số thực dấu phẩy động 64-bit tiêu chuẩn, tích số nhỏ hơn khoảng 2,2 × 10 mũ trừ 308 bắt đầu mất dần độ chính xác, và nhỏ hơn khoảng 4,9 × 10 mũ trừ 324 thì bị làm tròn về số 0 tuyệt đối! Khi tất cả các lớp ứng viên đều có xác suất dự đoán bằng 0, mô hình sẽ hoàn toàn mất khả năng phân biệt và đưa ra quyết định sai lầm ngẫu nhiên.
Để khắc phục triệt để vấn đề này, các kỹ sư học máy luôn chuyển đổi toàn bộ bài toán sang Không gian Logarithm (Log-Space). Thay vì nhân các xác suất độc lập, chúng ta áp dụng hàm logarit tự nhiên để biến phép nhân thành phép cộng các số âm. Vì hàm logarit là một hàm đơn điệu tăng ngặt, thứ tự độ lớn của các giá trị log xác suất được bảo toàn hoàn hảo so với xác suất gốc. Lớp có tổng log xác suất lớn nhất chính là lớp có xác suất hậu nghiệm cao nhất. Kỹ thuật này loại bỏ rủi ro tràn số dưới khi nhân nhiều xác suất nhỏ.
11. Ứng dụng Thực chiến: Hệ thống Lọc Email Rác (Spam Filtering)
Hệ thống lọc thư rác của Mozilla Thunderbird và các dịch vụ hòm thư điện tử ban đầu đều dựa trên nền tảng của bộ lọc Bayesian Filter. Khi người dùng bấm nút báo cáo một bức thư là thư rác, hệ thống sẽ tự động phân rã bức thư thành các token từ ngữ và cập nhật bảng đếm tần suất của lớp Spam.
Các từ khóa nhạy cảm như trúng thưởng, quà tặng miễn phí, kiếm tiền nhanh chóng, sòng bạc trực tuyến sẽ có xác suất xuất hiện trong lớp thư rác cao gấp hàng trăm lần so với lớp thư thông thường. Ngược lại, tên riêng của đồng nghiệp, dự án công ty hay thuật ngữ chuyên môn sẽ có xác suất xuất hiện vượt trội trong lớp thư hợp lệ.
Để ngăn chặn tình trạng báo động nhầm (False Positive) khiến người dùng bị lỡ mất các email quan trọng từ đối tác, các hệ thống thực tế thường đặt ngưỡng xác suất phân loại thư rác rất khắt khe, ví dụ một bức thư chỉ bị chuyển vào hòm thư Spam khi xác suất tính toán vượt quá 99%. Sự đơn giản, tốc độ phản hồi tính bằng mili giây và khả năng thích ứng linh hoạt theo từng người dùng đã giúp Naive Bayes giữ vững vị thế là giải pháp phòng ngự vòng ngoài cực kỳ tin cậy trong an ninh mạng suốt nhiều thập kỷ qua.
Khóa AI – Introduction to Machine Learning: nền tảng Máy học từ thuật toán cơ bản đến Neural Networks và LLM, học bằng Python. Học thử buổi 1 miễn phí.


