AI & Machine Learning

Tokenization và Word Embeddings: Biểu diễn Ngữ nghĩa Văn bản

Để máy tính có thể hiểu, suy luận và xử lý ngôn ngữ tự nhiên, toàn bộ văn bản phi cấu trúc bắt buộc phải được số hóa thành các chuỗi chỉ số token và ánh xạ vào không gian vector nhiều chiều thông qua kỹ thuật Word Embeddings.

Ý chính
  • Cầu nối số học của ngôn ngữ: Tokenization chia nhỏ văn bản thô thành các đơn vị con (subwords) bằng thuật toán BPE hoặc WordPiece, giải quyết triệt để vấn đề từ ngoài từ điển (OOV) mà không làm bùng nổ kích thước từ vựng.
  • Biểu diễn phân tán (Distributed Representation): Word Embeddings ánh xạ mỗi từ thành một vector số thực dày đặc trong không gian \(\mathbb{R}^d\), trong đó các từ có ngữ nghĩa tương đồng hoặc xuất hiện trong ngữ cảnh giống nhau sẽ nằm gần nhau về mặt hình học.
  • Tính chất đại số của ngữ nghĩa: Không gian vector Word2Vec và GloVe lưu giữ các mối quan hệ ngữ nghĩa tuyến tính kỳ diệu, cho phép thực hiện các phép cộng trừ vector khái niệm như: \(v(\text{King}) - v(\text{Man}) + v(\text{Woman}) \approx v(\text{Queen})\).

1. Thách thức lịch sử: Từ One-Hot Encoding đến Vector phân tán

Trong giai đoạn đầu của xử lý ngôn ngữ tự nhiên (NLP), phương pháp cơ bản nhất để biểu diễn từ ngữ là mã hóa One-Hot (One-Hot Encoding). Giả sử từ điển hệ thống chứa \(|V| = 50.000\) từ vựng:

  • Mỗi từ được gán cho một vector có đúng 50.000 chiều.
  • Từ thứ \(i\) có phần tử tại vị trí \(i\) mang giá trị \(1\), và toàn bộ \(49.999\) phần tử còn lại mang giá trị \(0\).

Mặc dù đơn giản, One-Hot Encoding bộc lộ ba điểm yếu chí mạng:

  1. Lời nguyền chiều dữ liệu và lãng phí bộ nhớ: Vector cực kỳ thưa thớt (sparse), chứa tới 99.99% số không. Việc tính toán ma trận với các vector hàng chục nghìn chiều ngốn dung lượng RAM khổng lồ.
  2. Hoàn toàn vô tri về mặt ngữ nghĩa (Orthogonality Problem): Tích vô hướng giữa hai vector one-hot bất kỳ luôn bằng \(0\): \[\mathbf{v}_{\text{chó}}^T \mathbf{v}_{\text{mèo}} = 0, \quad \mathbf{v}_{\text{chó}}^T \mathbf{v}_{\text{bàn\_ghế}} = 0\] Đối với máy tính, từ "chó" xa lạ với từ "mèo" hệt như đối với từ "bàn ghế". Hệ thống không có bất kỳ manh mối hình học nào để biết hai từ có liên quan về mặt khái niệm hay không.
  3. Bất lực trước từ mới (Out-Of-Vocabulary - OOV): Bất kỳ từ ngữ nào không có sẵn trong từ điển lúc huấn luyện đều không thể biểu diễn được.

Để giải quyết vấn đề này, nhà ngôn ngữ học John Rupert Firth từng phát biểu câu nói nổi tiếng vào năm 1957: "You shall know a word by the company it keeps" (Bạn sẽ biết ý nghĩa của một từ thông qua những từ đi cùng với nó). Đây chính là giả thuyết phân phối (Distributional Hypothesis) đặt nền móng cho kỹ thuật Word Embeddings (Nhúng từ).

Tách Token & Word Embeddings Ánh xạ văn bản tự nhiên thành không gian vector ngữ nghĩa nhiều chiều 1. Văn Bản Thô "Học máy vui" Chuỗi ký tự tự nhiên 2. Tokenizer (BPE) ["Học", "máy", "vui"] ID: [102, 584, 912] Tra cứu theo từ điển 3. Vector Embedding [0.25, -0.81, ... 0.14] Không gian d chiều Từ gần nhau có véc-tơ gần Vector: Vua - Đàn ông + Phụ nữ ≈ Nữ hoàng
Tách Token & Embedding 1. Văn bản ban đầu: "Học máy và AI thông minh" 2. Tokenizer (BPE): Tách thành danh sách token ID Chuyển từ thành mã số nguyên 3. Vector Embedding: Biểu diễn dưới dạng vector d chiều Giữ trọn liên kết ngữ nghĩa
Quy trình chuyển đổi từ văn bản thô qua Tokenization BPE tới không gian vector nhúng ngữ nghĩa

2. Kỹ thuật Phân tách Từ hiện đại: Byte-Pair Encoding (BPE)

Trước khi nhúng từ thành vector, văn bản thô phải được phân rã thành các đơn vị cơ sở gọi là Tokens.

  • Nếu tách theo cấp độ từ hoàn chỉnh (Word-level): Từ điển sẽ bùng nổ lên hàng triệu từ (do các biến thể số nhiều, chia thì, từ ghép). Khi gặp lỗi chính tả hoặc từ mới, mô hình lập tức bị lỗi OOV và phải thay bằng token vô nghĩa [UNK].
  • Nếu tách theo cấp độ ký tự đơn (Character-level): Từ điển rất nhỏ (chỉ vài trăm ký tự), không bao giờ bị lỗi OOV. Tuy nhiên chuỗi biểu diễn sẽ dài gấp 5 đến 7 lần, làm tiêu hao tài nguyên tính toán chú ý của Transformer vốn tỷ lệ với bình phương độ dài chuỗi.

Thuật toán Byte-Pair Encoding (BPE) do Sennrich et al. (2015) đề xuất là giải pháp dung hòa tuyệt hảo ở cấp độ từ con (Subword-level), hiện được sử dụng trong GPT-2, GPT-4, LLaMA và RoBERTa.

Nguyên lý hoạt động của thuật toán BPE:

  1. Khởi tạo: Phân tách toàn bộ văn bản huấn luyện thành các ký tự đơn lẻ, thêm ký hiệu kết thúc từ (ví dụ </w>). Tập từ vựng ban đầu chỉ chứa các ký tự này.
  2. Đếm tần suất: Đếm tần suất xuất hiện của tất cả các cặp ký tự liền kề nhau trong toàn bộ kho ngữ liệu.
  3. Hợp nhất (Merge): Tìm cặp ký tự có tần suất xuất hiện cao nhất và gộp chúng lại thành một từ con mới, bổ sung vào từ điển.
  4. Lặp lại: Thực hiện lặp lại bước 2 và bước 3 cho đến khi số lượng lượt hợp nhất đạt chỉ tiêu định trước (ví dụ \(32.000\) hoặc \(50.000\) từ vựng).

Ví dụ trực quan: Giả sử tập ngữ liệu chứa các từ: low, lower, newest, widest.

  • Cặp e và s xuất hiện nhiều lần \(\to\) hợp nhất thành es.
  • Cặp es và t xuất hiện nhiều lần \(\to\) hợp nhất thành est.
  • Khi gặp từ mới tinh chưa từng xuất hiện trong tập huấn luyện như lowest, thuật toán sẽ tự động tách thành: low + est. Cả hai từ con này đều đã có sẵn trong từ điển! Mô hình vẫn nắm bắt trọn vẹn ý nghĩa của từ "lowest" mà không hề bị lỗi từ ngoài từ điển.

3. Kiến trúc Word2Vec: CBOW và Skip-gram

Năm 2013, Tomas Mikolov cùng các cộng sự tại Google đã tạo nên bước ngoặt vĩ đại với công cụ Word2Vec. Word2Vec chứng minh rằng ta có thể huấn luyện một mạng nơ-ron truyền thẳng 2 tầng cực kỳ đơn giản trên kho ngữ liệu khổng lồ để học được các vector nhúng dày đặc \(\mathbf{v} \in \mathbb{R}^d\) (\(d\) thường từ \(100\) đến \(300\)) mang đậm tính chất ngữ nghĩa.

Word2Vec đề xuất hai kiến trúc đối ngẫu:

  1. Continuous Bag-of-Words (CBOW): Dự đoán từ mục tiêu ở trung tâm \(w_t\) dựa vào ngữ cảnh các từ xung quanh trong cửa sổ trượt: \[P(w_t \mid w_{t-c}, \dots, w_{t-1}, w_{t+1}, \dots, w_{t+c})\] CBOW huấn luyện nhanh hơn và cho kết quả rất tốt trên các từ xuất hiện thường xuyên.
  2. Continuous Skip-gram: Ngược lại với CBOW, Skip-gram nhận vào từ trung tâm \(w_t\) và cố gắng dự đoán xác suất xuất hiện của các từ ngữ cảnh xung quanh \(w_{t+j}\): \[P(w_{t+j} \mid w_t) \quad \text{với } -c \le j \le c, j \neq 0\] Skip-gram hoạt động vượt trội trên các tập dữ liệu lớn và biểu diễn cực kỳ xuất sắc các từ ngữ hiếm.

Đột phá Kỹ thuật: Negative Sampling (Lấy mẫu âm)

Trong mô hình Skip-gram nguyên bản, xác suất của một từ ngữ cảnh \(w_o\) khi biết từ trung tâm \(w_i\) được tính bằng hàm Softmax toàn cục:

\[P(w_o \mid w_i) = \frac{\exp(\mathbf{v}_{w_o}'^T \mathbf{v}_{w_i})}{\sum_{w=1}^{|V|} \exp(\mathbf{v}_w'^T \mathbf{v}_{w_i})}\]

Điểm nghẽn nằm ở mẫu số: với mỗi từ đơn lẻ trong mỗi bước huấn luyện, mô hình phải tính tổng số mũ trên toàn bộ \(|V| = 100.000\) từ vựng. Chi phí tính đạo hàm để cập nhật trọng số là không tưởng.

Mikolov giải quyết bài toán này bằng kỹ thuật Negative Sampling (SGNS). Kỹ thuật này biến bài toán dự đoán đa lớp phức tạp thành bài toán phân loại nhị phân Logistic (Binary Classification):

  • Với mỗi cặp từ thực sự xuất hiện cùng nhau trong văn bản (cặp dương - positive pair \((w_i, w_o)\)), mô hình tối đa hóa xác suất chúng đi cùng nhau: \(\sigma(\mathbf{v}_{w_o}'^T \mathbf{v}_{w_i})\).
  • Đồng thời, mô hình lấy mẫu ngẫu nhiên \(K\) từ không liên quan từ từ điển theo phân phối tần suất lũy thừa \(3/4\) (cặp âm - negative samples \(w_{n_1}, \dots, w_{n_K}\)), và tối đa hóa xác suất chúng không đi cùng nhau: \(\sigma(-\mathbf{v}_{w_{n_k}}'^T \mathbf{v}_{w_i})\).

Hàm mất mát cho một từ mục tiêu trở thành:

\[\mathcal{L}_{\text{Skip-gram}} = -\log \sigma(\mathbf{v}_{w_o}'^T \mathbf{v}_{w_i}) - \sum_{k=1}^K \log \sigma(-\mathbf{v}_{w_{n_k}}'^T \mathbf{v}_{w_i})\]

Chi phí tính toán cho mỗi từ giảm từ \(\mathcal{O}(|V|)\) xuống chỉ còn \(\mathcal{O}(K)\) (với \(K\) thường chỉ từ \(5\) đến \(20\)), tăng tốc độ huấn luyện lên hàng trăm lần.

Học cùng giảng viên

Chủ đề này nằm trong Lecture 14 - Neural Networks của Khóa AI. Xem đề cương

4. Mô hình GloVe: Khai thác Thống kê Đồng xuất hiện Toàn cục

Trong khi Word2Vec dựa trên cửa sổ trượt cục bộ (local context window), mô hình GloVe (Global Vectors for Word Representation) của Đại học Stanford (Pennington et al., 2014) kết hợp ưu điểm của phương pháp ma trận đồng xuất hiện toàn cục (global co-occurrence matrix).

Gọi \(X_{ij}\) là số lần từ \(i\) và từ \(j\) xuất hiện cùng nhau trong toàn bộ kho ngữ liệu. Xác suất có điều kiện \(P_{ik} = P(k \mid i) = X_{ik} / X_i\).

GloVe phát hiện rằng tỷ lệ giữa hai xác suất có điều kiện \(\frac{P_{ik}}{P_{jk}}\) chứa đựng thông tin phân biệt ngữ nghĩa cực kỳ tinh tế. Ví dụ:

  • Xét từ \(i = \text{ice}\) (băng) và \(j = \text{steam}\) (hơi nước).
  • Với từ liên quan đến băng \(k = \text{solid}\) (rắn): tỷ lệ \(\frac{P(\text{solid} \mid \text{ice})}{P(\text{solid} \mid \text{steam})}\) mang giá trị rất lớn.
  • Với từ liên quan đến hơi nước \(k = \text{gas}\) (khí): tỷ lệ này mang giá trị rất nhỏ.
  • Với từ trung tính \(k = \text{water}\) hoặc \(k = \text{fashion}\): tỷ lệ này xấp xỉ \(1.0\).

GloVe thiết lập hàm mục tiêu tối thiểu hóa sai lệch giữa tích vô hướng hai vector với logarit của tần suất đồng xuất hiện:

\[\mathcal{J} = \sum_{i, j=1}^{|V|} f(X_{ij}) \left( \mathbf{w}_i^T \tilde{\mathbf{w}}_j + b_i + \tilde{b}_j - \log X_{ij} \right)^2\]

Trong đó hàm trọng số \(f(X_{ij}) = \min(1, (X_{ij} / x_{\max})^\alpha)\) ngăn chặn các cặp từ xuất hiện quá nhiều (như "the", "a", "is") làm lấn át các từ mang nội dung quan trọng.

5. Đại số Vector và Độ đo Cosine Similarity

Một trong những đặc tính kỳ diệu nhất của các không gian nhúng từ phân tán là sự xuất hiện tự nhiên của các mối quan hệ ngữ nghĩa dạng tuyến tính. Khi thực hiện phép trừ vector giữa hai khái niệm:

\[\mathbf{v}_{\text{King}} - \mathbf{v}_{\text{Man}} \approx \mathbf{v}_{\text{Queen}} - \mathbf{v}_{\text{Woman}}\]

Vector hiệu số \(\mathbf{v}_{\text{King}} - \mathbf{v}_{\text{Man}}\) mã hóa khái niệm trừu tượng về "hoàng gia" (royalty). Tương tự, quan hệ thủ đô - quốc gia cũng được bảo toàn hoàn hảo:

\[\mathbf{v}_{\text{Hà Nội}} - \mathbf{v}_{\text{Việt Nam}} + \mathbf{v}_{\text{Pháp}} \approx \mathbf{v}_{\text{Paris}}\]

Độ đo Tương đồng Cosine (Cosine Similarity)

Để đo lường khoảng cách ngữ nghĩa giữa hai vector từ trong không gian nhiều chiều, người ta thường không dùng khoảng cách Euclidean (vốn bị ảnh hưởng bởi độ dài vector phụ thuộc vào tần suất từ), mà sử dụng Cosine Similarity:

\[\cos(\mathbf{u}, \mathbf{v}) = \frac{\mathbf{u} \cdot \mathbf{v}}{\|\mathbf{u}\|_2 \|\mathbf{v}\|_2} = \frac{\sum_{i=1}^d u_i v_i}{\sqrt{\sum_{i=1}^d u_i^2} \sqrt{\sum_{i=1}^d v_i^2}}\]

  • Giá trị \(\cos = 1.0\): Hai vector hoàn toàn cùng phương, ngữ nghĩa trùng khớp tuyệt đối.
  • Giá trị \(\cos = 0.0\): Hai vector trực giao, không có bất kỳ liên hệ ngữ nghĩa nào.
  • Giá trị \(\cos = -1.0\): Hai vector ngược hướng hoàn toàn. Điều này không có nghĩa là hai từ trái nghĩa: các từ trái nghĩa như "tốt" và "xấu" thường có cosine cao (xem câu hỏi 2 ở mục 9).

6. Cài đặt thuật toán kiểm thử: Hàm mất mát Skip-gram Negative Sampling

Dưới đây là mã nguồn cài đặt chính xác hàm tính tổn thất Skip-gram với kỹ thuật Negative Sampling trong cả Python và C++17. Hàm số tính toán tổng mất mát của một cặp dương kết hợp với danh sách các mẫu âm, kèm theo kỹ thuật làm mịn để tránh lỗi logarit của số không:

import math

def sigmoid(x):
    return 1.0 / (1.0 + math.exp(-x))

def skipgram_loss(target_vec, context_vec, neg_vecs):
    # Positive pair dot product
    pos_dot = sum(t * c for t, c in zip(target_vec, context_vec))
    pos_sig = max(sigmoid(pos_dot), 1e-15)
    loss = -math.log(pos_sig)

    # Negative pairs
    for neg in neg_vecs:
        neg_dot = sum(t * n for t, n in zip(target_vec, neg))
        neg_sig = max(sigmoid(-neg_dot), 1e-15)
        loss -= math.log(neg_sig)

    return round(loss, 4)

Phân tích độ phức tạp thuật toán

  • Độ phức tạp thời gian: Với vector nhúng kích thước \(d\) và số lượng mẫu âm \(K\), việc tính toán tích vô hướng cho 1 cặp dương và \(K\) cặp âm tiêu tốn đúng \(\mathcal{O}((K + 1) \cdot d)\) phép toán số học. Đây là độ phức tạp tuyến tính tối ưu, hoàn toàn độc lập với kích thước từ điển hàng trăm nghìn từ \(|V|\).
  • Độ phức tạp không gian: Thuật toán chỉ thao tác trực tiếp trên các vector đầu vào đã trích xuất, tiêu tốn bộ nhớ đệm \(\mathcal{O}(K \cdot d)\).

7. Giới hạn của Static Embeddings và Sự trỗi dậy của Contextual Embeddings

Mặc dù Word2Vec, GloVe và FastText (bổ sung n-gram ký tự của Facebook) đạt được thành công vang dội, chúng thuộc nhóm Nhúng tĩnh (Static Embeddings): Mỗi từ trong từ điển chỉ có duy nhất một vector cố định.

Hạn chế nghiêm trọng này lộ rõ khi đối mặt với các từ đa nghĩa (Polysemy):

  • Xét từ "đường" trong hai ngữ cảnh:
    1. "Cho tôi thêm một thìa đường vào cốc cà phê." (thực phẩm ngọt)
    2. "Con đường này đang được mở rộng." (giao thông)
  • Mô hình Word2Vec buộc phải nén cả hai ý nghĩa đối lập này vào cùng một vector duy nhất, tạo ra một biểu diễn bị pha tạp và sai lệch.

Thách thức này đã mở đường cho thế hệ Nhúng động theo ngữ cảnh (Contextual Embeddings) như ELMo, BERT và kiến trúc Transformer. Trong các mô hình này, một từ sẽ có vector biểu diễn biến đổi linh hoạt tùy thuộc vào toàn bộ các từ đứng xung quanh nó trong câu, phản ánh chính xác 100% ngữ cảnh cụ thể tại thời điểm phát ngôn.

8. Bảng so sánh các kỹ thuật Tokenization và Embedding

Kỹ thuật Cấp độ biểu diễn Kích thước từ vựng Khả năng xử lý OOV Đặc điểm cốt lõi
One-Hot Từ vựng Cực lớn (\(> 100K\)) Hoàn toàn bất lực Vector thưa, trực giao, không có ngữ nghĩa
BPE Từ con (Subword) Thường \(32K - 200K\) (GPT-2: 50.257; GPT-4: 100.277; GPT-4o: 200.019) Tuyệt đối an toàn Hợp nhất các cặp byte/ký tự phổ biến nhất
Word2Vec Vector tĩnh Cố định theo từ vựng Bị lỗi OOV Học ngữ cảnh trượt bằng CBOW / Skip-gram
GloVe Vector tĩnh Cố định theo từ vựng Bị lỗi OOV Tối ưu hóa ma trận đồng xuất hiện toàn cục
Transformer Vector động Dựa trên subword BPE Tuyệt đối an toàn Vector thay đổi theo từng câu văn cụ thể

9. Bài tập vận dụng và câu hỏi phỏng vấn

  1. Câu hỏi: Trong thuật toán Word2Vec Negative Sampling, tại sao người ta lại lấy mẫu các từ âm theo phân phối tần suất \(U(w)^{3/4}\) mà không dùng phân phối xác suất tự nhiên \(U(w)\)?
    • Gợi ý trả lời: Phân phối xác suất tự nhiên \(U(w)\) bị thống trị bởi các từ dừng xuất hiện quá nhiều (như "the", "of", "and"), khiến các từ âm gần như chỉ toàn là từ dừng. Nếu dùng phân phối đều (uniform), các từ cực hiếm lại bị chọn quá thường xuyên. Số mũ \(3/4 = 0.75\) là một điểm cân bằng thực nghiệm hoàn hảo: nó nâng xác suất được chọn của các từ hiếm lên đáng kể trong khi hạ bớt tần suất của các từ quá phổ biến.
  2. Câu hỏi: Nếu hai từ có ngữ nghĩa hoàn toàn trái ngược nhau (ví dụ "tốt" và "xấu"), vector nhúng Word2Vec của chúng sẽ có khoảng cách Cosine gần nhau hay xa nhau?
    • Gợi ý trả lời: Thật bất ngờ, vector của chúng thường nằm rất gần nhau (Cosine Similarity rất cao). Lý do là vì trong ngữ pháp và giao tiếp thực tế, từ "tốt" và "xấu" có vị trí cú pháp và từ ngữ đi kèm xung quanh gần như giống hệt nhau (ví dụ: "Thời tiết hôm nay rất tốt" và "Thời tiết hôm nay rất xấu"). Word2Vec học dựa trên ngữ cảnh xuất hiện, nên các cặp từ trái nghĩa cùng nhóm từ loại thường có biểu diễn hình học lân cận nhau.
Muốn học bài bản cùng giảng viên?

Khóa AI – Introduction to Machine Learning: nền tảng Máy học từ thuật toán cơ bản đến Neural Networks và LLM, học bằng Python. Học thử buổi 1 miễn phí.

Xem Khóa AI

Nguồn tham khảo

Chia sẻ: Facebook LinkedIn
Nhắn Zalo tư vấnZalo Gọi 0937 401 483