AI & Machine Learning

Xử lý Ngôn ngữ Tự nhiên Tiếng Việt: Từ Cơ Bản đến PhoBERT

Xử lý ngôn ngữ tự nhiên tiếng Việt đặt ra những thách thức độc đáo do tính đơn lập, hiện tượng từ ghép và ranh giới từ phức tạp.

Ý chính
  • Đặc thù ngôn ngữ đơn lập (Isolating Language): Tiếng Việt không biến đổi hình thái từ theo thì hay giống; khoảng trắng chỉ có vai trò phân tách âm tiết chứ không phân tách từ vựng như tiếng Anh.
  • Bài toán Tách từ (Word Segmentation): Bước tiền xử lý tiên quyết có tính chất sống còn, quyết định trực tiếp đến hơn \(80\%\) hiệu năng của các tác vụ xử lý ngôn ngữ tự nhiên phía sau.
  • Chuẩn hóa Unicode và thanh điệu: Bắt buộc phải thống nhất mã hóa ký tự về Unicode dựng sẵn (NFC) và đồng bộ quy tắc đặt dấu thanh (kiểu mới vs kiểu cũ) để loại bỏ hiện tượng vỡ từ điển OOV.
  • Mô hình nền tảng PhoBERT: Bước ngoặt lịch sử của AI tiếng Việt do VinAI phát triển, áp dụng kiến trúc RoBERTa được huấn luyện trên 20GB văn bản báo chí và bách khoa toàn thư tiếng Việt.
  • Ứng dụng thực chiến đa dạng: Từ phân tích cảm xúc khách hàng (Sentiment Analysis), trích xuất thực thể tên riêng (Named Entity Recognition - NER) đến phân loại văn bản tự động.

Trong bức tranh toàn cầu của ngành Trí tuệ Nhân tạo (AI), Xử lý Ngôn ngữ Tự nhiên (Natural Language Processing - NLP) luôn là một trong những lĩnh vực phát triển vũ bão nhất. Tuy nhiên, khi các kỹ sư Việt Nam áp dụng trực tiếp các mô hình và thư viện được thiết kế cho tiếng Anh (như NLTK hay SpaCy) vào dữ liệu tiếng Việt, hệ thống thường cho kết quả rất kém. Nguyên nhân bắt nguồn từ sự khác biệt căn bản về bản chất cấu trúc ngôn ngữ: tiếng Việt là một ngôn ngữ đơn lập không biến hình, giàu thanh điệu và sở hữu hệ thống từ ghép đa âm tiết phức tạp.

Để xây dựng các ứng dụng AI tiếng Việt đạt độ chính xác cao - từ chatbot chăm sóc khách hàng, hệ thống trích xuất thông tin hợp đồng pháp lý đến công cụ phân tích cảm xúc trên mạng xã hội - lập trình viên cần hiểu sâu sắc các đặc thù ngữ âm, từ vựng và quy trình tiền xử lý chuyên biệt cho tiếng Việt. Bài viết này sẽ phân tích chi tiết toàn bộ chuỗi xử lý NLP tiếng Việt, từ bài toán tách từ, chuẩn hóa ký tự Unicode đến việc triển khai mô hình tiền huấn luyện đỉnh cao PhoBERT.

Xử Lý Ngôn Ngữ Tiếng Việt Đặc thù tách từ ghép đa âm tiết và nhận dạng thực thể có tên (NER) Câu gốc: "Hà Nội là thủ đô của đất nước Việt Nam" Tách từ (Word Tokenization): ["Hà_Nội", "là", "thủ_đô", "của", "đất_nước", "Việt_Nam"] Nhận Dạng Thực Thể (NER): Hà_Nội [Địa Danh - B-LOC] · Việt_Nam [Quốc Gia - B-LOC]
NLP Tiếng Việt 1. Câu văn ban đầu: "Hà Nội là thủ đô Việt Nam" 2. Tách từ ghép (PyVi/RDR): ["Hà_Nội", "là", "thủ_đô"] Nối âm tiết bằng dấu gạch dưới 3. Nhận dạng NER: Hà_Nội: Thực thể Địa Danh Trích xuất thông tin tự động
Hình 1. Quy trình xử lý ngôn ngữ tự nhiên tiếng Việt: tách từ phức đa âm tiết rồi nhận dạng thực thể có tên (NER).

1. Đặc thù ngôn ngữ của tiếng Việt so với tiếng Anh

Bản chất ngôn ngữ đơn lập (Isolating Language)

Trong ngôn ngữ học, các ngôn ngữ châu Âu như tiếng Anh, tiếng Pháp hay tiếng Đức thuộc nhóm ngôn ngữ hòa kết (Fusional languages) hoặc chắp khúc (Agglutinative languages). Từ ngữ trong các ngôn ngữ này biến đổi hình thái rất rõ rệt: động từ thay đổi theo thì (ví dụ go, went, gone), danh từ thay đổi theo số nhiều (ví dụ book, books), hoặc biến đổi theo giống và cách.

Ngược lại, tiếng Việt là một ngôn ngữ đơn lập (Isolating Language):

  • Từ trong tiếng Việt hoàn toàn không bao giờ biến đổi hình thái. Từ "học" trong "tôi học", "hôm qua tôi học" hay "tôi sẽ học" đều giữ nguyên dạng chữ viết và phát âm giống hệt nhau.
  • Ngữ pháp và ngữ nghĩa của câu phụ thuộc hoàn toàn vào trật tự từ (Word Order) và hệ thống hư từ / trợ từ (như "đã", "đang", "sẽ", "những", "các", "của"). Việc thay đổi vị trí của hai từ có thể đảo ngược hoàn toàn ý nghĩa: "xe máy" (danh từ chỉ phương tiện) khác với "máy xe" (danh từ chỉ động cơ của xe).

Vấn đề khoảng trắng và ranh giới từ

Đây là điểm khác biệt quan trọng nhất khiến các thư viện NLP quốc tế bị vỡ trận khi xử lý tiếng Việt:

  • Trong tiếng Anh, khoảng trắng (whitespace) là dấu phân cách từ tuyệt đối. Câu Artificial intelligence is growing có 4 khoảng trắng phân tách rõ ràng 4 từ vựng độc lập.
  • Trong tiếng Việt, khoảng trắng chỉ là dấu phân cách giữa các âm tiết (tiếng), chứ không phải dấu phân cách từ! Ví dụ trong câu: Trí tuệ nhân tạo phát triển rất nhanh Câu trên gồm 8 âm tiết, nhưng về mặt từ vựng học, nó chỉ gồm 5 từ:
    • Trí tuệ (từ ghép 2 âm tiết)
    • nhân tạo (từ ghép 2 âm tiết)
    • phát triển (từ ghép 2 âm tiết)
    • rất (từ đơn 1 âm tiết)
    • nhanh (từ đơn 1 âm tiết)

Nếu chúng ta chỉ đơn giản dùng hàm text.split() theo khoảng trắng, mô hình sẽ coi "trí", "tuệ", "nhân", "tạo" là 4 khái niệm rời rạc, làm mất đi hoàn toàn ngữ nghĩa thực tế của khái niệm "trí tuệ nhân tạo".

Hệ thống thanh điệu và sự phong phú của từ ghép

Tiếng Việt sở hữu 6 thanh điệu: thanh ngang (không dấu), huyền, sắc, hỏi, ngã, nặng. Thanh điệu mang tính chất khu biệt ngữ nghĩa tuyệt đối: chỉ cần đổi dấu thanh, một từ sẽ biến thành một khái niệm hoàn toàn khác (ví dụ: ma, má, mà, mả, mã, mạ).

Bên cạnh đó, tiếng Việt có xu hướng cấu tạo từ ghép (Compound words) và từ láy vô cùng phong phú:

  • Từ ghép đẳng lập: bàn ghế, quần áo, học hành, ăn uống.
  • Từ ghép chính phụ: máy bay, tàu hỏa, hoa hồng, nước ngọt.
  • Từ láy: lung linh, long lanh, thoang thoảng, bâng khuâng.

2. Bài toán tách từ tiếng Việt (Word Segmentation)

Khái niệm và thách thức

Tách từ tiếng Việt (Word Segmentation hay Word Tokenization) là tác vụ xác định chính xác ranh giới của các từ trong một chuỗi văn bản gồm các âm tiết nối tiếp nhau, ghép các âm tiết tạo nên một từ phức lại với nhau (thường nối bằng dấu gạch dưới _, ví dụ học_sinh, trí_tuệ_nhân_tạo).

Thách thức lớn nhất trong tách từ tiếng Việt là hiện tượng mơ hồ ngữ nghĩa (Ambiguity): cùng một chuỗi âm tiết nhưng có thể có nhiều cách phân chia từ khác nhau tùy thuộc vào ngữ cảnh. Ví dụ kinh điển: Học sinh học sinh học Chuỗi này có hai cách hiểu và tách từ hoàn toàn khác nhau:

  1. Học_sinh (danh từ) + học (động từ) + sinh_học (danh từ - môn học): "Người học sinh đang học môn sinh học".
  2. Học (động từ) + sinh_học (danh từ) + sinh_học (danh từ): Ngữ pháp lủng củng và vô nghĩa.

Một ví dụ khác: Bác sĩ khám nghiệm tử thi \(\to\) Bác_sĩ khám_nghiệm tử_thi. Nếu tách nhầm thành Bác_sĩ khám nghiệm_tử thi thì câu văn bị phá vỡ cấu trúc hoàn toàn.

Các phương pháp tách từ phổ biến

  1. Phương pháp dựa trên từ điển (Dictionary-based):
    • Forward Maximum Matching (FMM): Quét từ trái sang phải, tìm chuỗi âm tiết dài nhất có mặt trong từ điển để tạo thành từ.
    • Backward Maximum Matching (BMM): Quét ngược từ phải sang trái.
    • Ưu điểm: Tốc độ thực thi cực nhanh, độ phức tạp \(O(n)\), phù hợp cho các tác vụ cần thời gian thực.
    • Nhược điểm: Bị động khi gặp từ mới chưa có trong từ điển (Out-Of-Vocabulary - OOV) và dễ sai khi gặp các câu có cấu trúc mơ hồ phức tạp.
  2. Phương pháp học máy thống kê (Machine Learning / Statistical):
    • Coi bài toán tách từ là bài toán gán nhãn chuỗi (Sequence Labeling) theo định dạng IOB (Inside - Outside - Beginning).
    • Mô hình Trường ngẫu nhiên có điều kiện (Conditional Random Fields - CRF) và Maximum Entropy Markov Models (MEMM).
    • Các công cụ tiêu biểu:
      • VnCoreNLP (Vu, Nguyen và cộng sự, NAACL 2018): bộ tách từ RDRSegmenter dùng mô hình học luật chuyển đổi, F1-score \(97,90\%\), là bộ công cụ chuẩn mực trong giới nghiên cứu.
      • Underthesea: Thư viện mã nguồn mở Python thân thiện, sử dụng CRF kết hợp hệ thống luật từ vựng phong phú.
      • PyVi: Thư viện Python nhỏ gọn dùng CRF (qua sklearn-crfsuite), dễ cài đặt và tốc độ xử lý nhanh.

3. Quy trình chuẩn hóa văn bản tiếng Việt trong doanh nghiệp

Trong các dự án AI thực tế, dữ liệu thu thập từ người dùng (bình luận Facebook, đánh giá Shopee, tin nhắn Zalo) chứa đầy lỗi gõ phím, teencode và xung đột bảng mã. Việc bỏ qua bước chuẩn hóa văn bản sẽ khiến từ điển bị phình to vô ích và mô hình học sai lệch.

Xử lý xung đột mã Unicode: Dựng sẵn (NFC) vs Tổ hợp (NFD)

Trong chuẩn Unicode quốc tế, một ký tự tiếng Việt có dấu (như chữ ế) có thể được biểu diễn bằng hai cách hoàn toàn khác nhau:

  1. Unicode dựng sẵn (NFC - Precomposed): Ký tự ế được mã hóa bằng đúng một điểm mã duy nhất \u1EBF. Đây là chuẩn phổ biến của bàn phím Windows Unikey và hầu hết các website hiện đại.
  2. Unicode tổ hợp (NFD - Decomposed): Ký tự ế được ghép từ ký tự gốc e (\u0065) cộng với dấu mũ (\u0302) và dấu sắc (\u0301). Chuẩn này thường xuất hiện trên các thiết bị macOS đời cũ hoặc hệ thống Unix cũ.

Mặc dù mắt người nhìn trên màn hình thấy hai chữ ế giống hệt nhau, nhưng khi so sánh bằng code: "\u1EBF" == "e\u0302\u0301" sẽ trả về False! Nếu trong tập huấn luyện có cả hai dạng mã hóa, mô hình sẽ coi chúng là hai từ hoàn toàn khác nhau. Vì vậy, quy tắc bất di bất dịch là phải chuẩn hóa toàn bộ văn bản về chuẩn NFC ngay từ cổng nạp dữ liệu:

import unicodedata

def normalize_unicode(text):
    return unicodedata.normalize("NFC", text)

Chuẩn hóa quy tắc đặt dấu thanh

Tiếng Việt tồn tại hai trường phái đặt dấu thanh cho các nguyên âm đôi / nguyên âm ba:

  • Kiểu cũ (truyền thống): Đặt dấu trên nguyên âm đầu (ví dụ: hòa, tòa, thúy, khỏe).
  • Kiểu mới (chuẩn giáo dục hiện đại): Đặt dấu trên nguyên âm chính (ví dụ: hoà, toà, thuý, khoẻ).

Một hệ thống NLP chuyên nghiệp cần có module chuyển đổi toàn bộ văn bản về cùng một trường phái (thường là kiểu mới) bằng các bảng ánh xạ regex để đảm bảo tính nhất quán từ vựng.

4. Mô hình nền tảng PhoBERT và cuộc cách mạng Transformer tiếng Việt

Sự ra đời của PhoBERT

Trước năm 2020, cộng đồng AI Việt Nam chủ yếu sử dụng các mô hình đa ngôn ngữ như Multilingual BERT (mBERT) hay XLM-RoBERTa (XLM-R). Mặc dù các mô hình này hiểu được tiếng Việt ở mức độ nhất định, nhưng do phải chia sẻ không gian từ vựng với hơn 100 ngôn ngữ khác, tỷ lệ từ vựng tiếng Việt trong mBERT chỉ chiếm khoảng \(1\%\), dẫn tới việc các từ tiếng Việt bị băm nhỏ thành những mẩu subword vô nghĩa (ví dụ từ "học sinh" bị chia thành "h", "##ọc", "s", "##inh").

Năm 2020, nhóm nghiên cứu VinAI Research (tác giả: Nguyễn Quốc Đạt và Nguyễn Tuấn Anh) công bố công trình lịch sử: PhoBERT: Pre-trained language models for Vietnamese.

  • Kiến trúc: Sử dụng kiến trúc RoBERTa (Robustly Optimized BERT Approach) với hai phiên bản: PhoBERT-base (12 tầng Transformer, 768 chiều ẩn, 135M tham số) và PhoBERT-large (24 tầng Transformer, 1024 chiều ẩn, 370M tham số).
  • Dữ liệu huấn luyện: Được tiền huấn luyện tự giám sát (Self-supervised Masked Language Modeling) trên tập ngữ liệu khổng lồ 20GB văn bản tiếng Việt không nén, tương đương khoảng 3 tỷ từ (sau khi tách từ), gồm Wikipedia tiếng Việt (~1GB) và ~19GB tin tức đã lọc trùng từ một kho báo điện tử 50GB.
  • Chiến lược Tokenization đột phá: Thay vì chạy thuật toán Byte-Pair Encoding (BPE) trực tiếp trên các âm tiết thô, nhóm tác giả chạy BPE sau khi đã tách từ bằng VnCoreNLP. Do đó, các từ vựng tiếng Việt phổ biến được giữ nguyên vẹn thành một token ngữ nghĩa duy nhất (như học_sinh, chính_phủ, kinh_tế).

Đánh giá hiệu năng vượt trội

Trong bài báo gốc, PhoBERT đạt kết quả tốt nhất và vượt XLM-R trên cả bốn tác vụ được đánh giá (POS, phân tích cú pháp phụ thuộc, NER, NLI):

  • Gán nhãn từ loại (POS Tagging, tập VLSP 2013): độ chính xác \(96,8\%\) (PhoBERT-large).
  • Nhận dạng thực thể tên riêng (NER, tập VLSP 2016): F1-score \(94,7\%\) (PhoBERT-large).
  • Suy luận ngôn ngữ tự nhiên (NLI, tập XNLI tiếng Việt): độ chính xác \(80,0\%\) (PhoBERT-large).

Hiện nay, vinai/phobert-base (cùng bản vinai/phobert-base-v2) vẫn là mô hình đơn ngữ tiếng Việt được dùng rộng rãi trên Hugging Face Hub, đóng vai trò làm mô hình nền tảng (Backbone) cho hàng nghìn giải pháp AI trong ngân hàng, thương mại điện tử và viễn thông.

Học cùng giảng viên

Chủ đề này nằm trong Lecture 14 - Neural Networks của Khóa AI. Xem đề cương

5. Bảng so sánh các công cụ và mô hình NLP tiếng Việt

Công cụ / Mô hình Nhà phát triển Thuật toán cốt lõi Tác vụ chính Điểm mạnh nổi bật
VnCoreNLP Vu, Nguyen và cộng sự (NAACL 2018) Học luật (tách từ), CRF (POS), Transition-based (cú pháp) Tách từ, POS, NER, Cây phụ thuộc Độ chính xác cao, chuẩn mực nghiên cứu khoa học
Underthesea Cộng đồng mã nguồn mở Conditional Random Fields (CRF) Tách từ, POS, Phân tích cảm xúc Cài đặt cực nhanh qua pip, tài liệu tiếng Việt dễ hiểu
PyVi Trần Việt Trung Conditional Random Fields (CRF) Tách từ, Gán nhãn từ loại POS Nhẹ, không phụ thuộc Java, cài nhanh qua pip
PhoBERT VinAI Research Transformer RoBERTa (Pre-trained) Nhúng vector ngữ cảnh, Fine-tuning Hiểu ngữ cảnh sâu sắc, đạt điểm SOTA trên các bảng xếp hạng
ViT5 / ViT5-large VietAI Transformer T5 (Seq2Seq) Tóm tắt văn bản, Dịch máy, Viết lại Tối ưu hóa đặc biệt cho các tác vụ sinh văn bản tiếng Việt

6. Cài đặt thuật toán tách từ Forward Maximum Matching (FMM)

Dưới đây là mã nguồn cài đặt đầy đủ thuật toán tách từ dựa trên từ điển theo phương pháp so khớp cực đại từ trái qua phải (Forward Maximum Matching), được hiện thực hóa song song bằng Python và C++17.

Để so khớp từ điển không phân biệt chữ hoa, chữ thường, bản Python chỉ cần str.lower(). Bản C++ có thêm hàm to_lower_utf8: std::tolower chỉ đổi từng byte ASCII, còn chữ hoa có dấu như Đ, Ứ chiếm 2 đến 3 byte UTF-8, nên hàm này giải mã từng ký tự rồi đổi sang chữ thường (đủ mọi chữ cái tiếng Việt). Nếu thiếu bước này, câu mở đầu bằng "Đại học" sẽ không ghép được thành Đại_học.

#include <iostream>
#include <vector>
#include <string>
#include <sstream>
#include <unordered_set>
#include <algorithm>

// Đổi một ký tự (mã Unicode) sang chữ thường: chữ cái ASCII và mọi chữ cái tiếng Việt có dấu
inline char32_t lower_codepoint(char32_t c) {
    if (c >= U'A' && c <= U'Z') return c + 32;
    if (c >= 0xC0 && c <= 0xDE && c != 0xD7) return c + 32;  // À Á Â Ã È É Ê Ì Í Ò Ó Ô Õ Ù Ú Ý...
    if (c == 0x102 || c == 0x110 || c == 0x128 || c == 0x168 || c == 0x1A0 || c == 0x1AF) return c + 1;  // Ă Đ Ĩ Ũ Ơ Ư
    if (c >= 0x1EA0 && c <= 0x1EF9 && c % 2 == 0) return c + 1;  // Ạ Ả Ấ Ầ ... Ỹ: chữ hoa mã chẵn, chữ thường mã lẻ
    return c;
}

// std::tolower chỉ đổi từng byte ASCII, còn chữ có dấu như "Đ", "Ứ" chiếm 2-3 byte UTF-8:
// giải mã UTF-8 thành từng ký tự, đổi sang chữ thường rồi mã hóa lại.
inline std::string to_lower_utf8(const std::string& s) {
    std::string out;
    for (size_t i = 0; i < s.size();) {
        unsigned char b = s[i];
        int len = b < 0x80 ? 1 : b < 0xE0 ? 2 : b < 0xF0 ? 3 : 4;
        char32_t c = len == 1 ? b : len == 2 ? (b & 0x1F) : len == 3 ? (b & 0x0F) : (b & 0x07);
        for (int k = 1; k < len && i + k < s.size(); ++k) c = (c << 6) | (static_cast<unsigned char>(s[i + k]) & 0x3F);
        i += len;
        c = lower_codepoint(c);
        if (c < 0x80) {
            out += static_cast<char>(c);
        } else if (c < 0x800) {
            out += static_cast<char>(0xC0 | (c >> 6));
            out += static_cast<char>(0x80 | (c & 0x3F));
        } else if (c < 0x10000) {
            out += static_cast<char>(0xE0 | (c >> 12));
            out += static_cast<char>(0x80 | ((c >> 6) & 0x3F));
            out += static_cast<char>(0x80 | (c & 0x3F));
        } else {
            out += static_cast<char>(0xF0 | (c >> 18));
            out += static_cast<char>(0x80 | ((c >> 12) & 0x3F));
            out += static_cast<char>(0x80 | ((c >> 6) & 0x3F));
            out += static_cast<char>(0x80 | (c & 0x3F));
        }
    }
    return out;
}

std::string vietnamese_word_tokenize(const std::string& text, const std::vector<std::string>& vocab_list) {
    std::unordered_set<std::string> vocab;
    for (const auto& v : vocab_list) {
        vocab.insert(to_lower_utf8(v));
    }

    std::vector<std::string> tokens;
    std::stringstream ss(text);
    std::string token;
    while (ss >> token) {
        tokens.push_back(token);
    }

    int n = tokens.size();
    std::vector<std::string> result;
    int i = 0;
    int max_len = 4;

    while (i < n) {
        bool matched = false;
        int upper_l = std::min(max_len, n - i);
        for (int l = upper_l; l >= 2; --l) {
            std::string candidate = "";
            for (int k = 0; k < l; ++k) {
                if (k > 0) candidate += " ";
                candidate += tokens[i + k];
            }
            if (vocab.count(to_lower_utf8(candidate))) {
                std::string compound = "";
                for (int k = 0; k < l; ++k) {
                    if (k > 0) compound += "_";
                    compound += tokens[i + k];
                }
                result.push_back(compound);
                i += l;
                matched = true;
                break;
            }
        }
        if (!matched) {
            result.push_back(tokens[i]);
            i += 1;
        }
    }

    std::string out = "";
    for (size_t idx = 0; idx < result.size(); ++idx) {
        if (idx > 0) out += " ";
        out += result[idx];
    }
    return out;
}

7. Các lỗi phổ biến khi xây dựng mô hình NLP tiếng Việt

  1. Bỏ qua bước tách từ (Word Segmentation) khi dùng mô hình đa ngôn ngữ: Nhiều lập trình viên đẩy thẳng câu văn tiếng Việt thô vào mô hình mBERT hoặc các mô hình ngôn ngữ lớn (LLM) mà không tách từ. Mặc dù các mô hình khổng lồ có thể tự suy luận phần nào, nhưng đối với các bài toán trích xuất thực thể (NER) hay tìm kiếm ngữ nghĩa đòi hỏi độ chính xác cao, việc không phân định từ ghép sẽ khiến các thực thể địa danh hoặc tên cơ quan (như "Bà Rịa - Vũng Tàu", "Bộ Giao thông Vận tải") bị chia nhỏ thành các âm tiết độc lập, làm tụt giảm nghiêm trọng chỉ số F1-score.
  2. Không xử lý hiện tượng từ dừng (Stopwords) theo đặc thù tiếng Việt: Nhiều dự án sao chép danh sách Stopwords tiếng Anh được dịch máy sang tiếng Việt một cách máy móc. Các từ như "và", "nhưng", "tuy nhiên", "mặc dù" trong tiếng Việt chứa đựng thông tin logic liên kết câu cực kỳ giá trị, đặc biệt trong bài toán phân tích cảm xúc (Sentiment Analysis). Việc xóa bừa bãi các liên từ này sẽ đảo ngược ý nghĩa câu văn (ví dụ câu: "Điện thoại dùng tốt nhưng pin hơi yếu" nếu bị xóa mất chữ "nhưng" sẽ làm mô hình không nhận diện được khía cạnh tiêu cực về pin).
  3. Lẫn lộn giữa từ viết tắt teencode và từ chuyên ngành: Trong ngôn ngữ mạng xã hội, người dùng viết tắt vô cùng sáng tạo: "ko" (không), "j" (gì), "dc" (được), "ns" (nói). Nếu dùng thuật toán thay thế chuỗi ngây thơ (naive string replace), từ "kinh tế" có thể bị thay nhầm thành "kinh không" nếu bạn thay thế chuỗi "tế" \(\to\) "không". Việc chuẩn hóa teencode bắt buộc phải sử dụng biểu thức chính quy với ranh giới từ (\bword\b) và bảng từ điển chuẩn ngữ pháp.
  4. Fine-tuning PhoBERT nhưng không chạy VnCoreNLP trước: Tokenizer của PhoBERT được huấn luyện trên dữ liệu đã được nối từ bằng dấu gạch dưới (_). Nếu bạn đưa chuỗi văn bản không có dấu gạch dưới vào AutoTokenizer.from_pretrained("vinai/phobert-base"), PhoBERT sẽ buộc phải băm câu văn thành các ký tự subword đơn lẻ, làm mất đi \(50\%\) sức mạnh ngữ cảnh vốn có của mô hình.

8. Câu hỏi thường gặp về NLP tiếng Việt (FAQ)

Tại sao PhoBERT lại cần dấu gạch dưới _ nối giữa các âm tiết của từ ghép?

Kiến trúc Transformer xử lý ngôn ngữ thông qua bảng từ vựng token (Vocabulary). Nhóm tác giả VinAI muốn các từ ghép thông dụng trong tiếng Việt (như thành_phố, hạnh_phúc, công_nghệ) có một vị trí mã ID riêng biệt trong bảng từ vựng thay vì bị phân tách thành 2 token con độc lập. Dấu gạch dưới _ đóng vai trò là ký tự đánh dấu liên kết hình vị trong cùng một từ, giúp mô hình trực tiếp nắm bắt ngữ nghĩa trọn vẹn của từ ghép ngay từ tầng Input Embedding đầu tiên.

Làm thế nào để giải quyết vấn đề teencode và ngôn ngữ mạng xã hội?

Giải pháp thực chiến tối ưu nhất hiện nay là quy trình 2 lớp:

  1. Xây dựng một từ điển chuẩn hóa Teencode mã nguồn mở (như từ điển của VNTK hoặc Underthesea) kết hợp ánh xạ tự động các từ viết tắt phổ biến về dạng chính tả tiếng Việt chuẩn.
  2. Với các từ lóng mới xuất hiện liên tục trên TikTok hay Facebook, sử dụng kỹ thuật Byte-level BPE của các mô hình ngôn ngữ lớn hiện đại để phân tích cấu trúc ký tự thay vì phụ thuộc hoàn toàn vào từ điển tĩnh.

Nên dùng VnCoreNLP, Underthesea hay PyVi cho dự án thực tế?

  • Chọn VnCoreNLP nếu dự án của bạn là hệ thống backend doanh nghiệp lớn, xử lý văn bản báo chí, pháp lý, y tế và cần độ chính xác cao nhất (cần cài đặt Java Runtime Environment).
  • Chọn Underthesea nếu bạn đang xây dựng ứng dụng web, microservice bằng Python thuần túy, cần sự tiện lợi, linh hoạt và tốc độ triển khai nhanh chóng.
  • Chọn PyVi nếu bạn cần giải pháp siêu nhẹ, tài nguyên phần cứng hạn chế (như chạy trên Raspberry Pi hoặc container Docker kích thước siêu nhỏ).

9. Bài tập tự luyện kèm lời giải chi tiết

Bài tập 1: Xây dựng biểu thức chính quy chuẩn hóa khoảng trắng và dấu câu

Viết một hàm Python chuẩn hóa chuỗi văn bản tiếng Việt: loại bỏ khoảng trắng thừa ở hai đầu và giữa các từ, đảm bảo dấu câu (chấm, phẩy, hỏi, than) viết liền sát với từ phía trước và cách một khoảng trắng với từ phía sau.

Lời giải chi tiết:

import re

def clean_vietnamese_punctuation(text):
    # 1. Thu gọn nhiều khoảng trắng liên tiếp thành 1 khoảng trắng
    text = re.sub(r'\s+', ' ', text).strip()
    
    # 2. Xóa khoảng trắng đứng trước các dấu câu , . ? ! : ;
    text = re.sub(r'\s+([,.\?!:;])', r'\1', text)
    
    # 3. Đảm bảo sau dấu câu có đúng một khoảng trắng (nếu sau đó là chữ cái)
    text = re.sub(r'([,.\?!:;])(?=[^\W\d_])', r'\1 ', text)
    
    return text

# Kiểm tra thực tế
raw = "Xin  chào các bạn  , hôm  nay học NLP có vui không ?rất  vui !"
cleaned = clean_vietnamese_punctuation(raw)
print(cleaned)
# Kết quả in ra: Xin chào các bạn, hôm nay học NLP có vui không? rất vui!

Bài tập 2: Phân tích độ phức tạp thời gian của giải thuật Forward Maximum Matching

Cho chuỗi văn bản gồm \(N\) âm tiết và một từ điển gồm \(V\) từ vựng. Độ dài tối đa của một từ trong từ điển là \(L_{\max}\) âm tiết.

  1. Giả sử từ điển được lưu trong cấu trúc bảng băm std::unordered_set (hoặc Python set). Độ phức tạp thời gian trung bình của giải thuật FMM là bao nhiêu?
  2. So sánh hiệu năng giữa việc dùng set và cấu trúc cây tiền tố Trie.

Lời giải chi tiết:

  1. Tại mỗi vị trí con trỏ \(i\) trên chuỗi \(N\) âm tiết, thuật toán thử tối đa \(L_{\max}\) độ dài ứng viên (từ \(L_{\max}\) giảm về 2). Với mỗi ứng viên, thao tác tra cứu trong bảng băm có độ phức tạp trung bình \(O(L_{\max})\) (thời gian tính hàm băm chuỗi). Sau đó con trỏ tăng ít nhất 1 bước. Do đó, tổng thời gian thực thi trung bình là \(O(N \cdot L_{\max}^2)\). Vì \(L_{\max}\) trong tiếng Việt là một hằng số rất nhỏ (thường \(L_{\max} = 4 \le 5\)), thuật toán có độ phức tạp thời gian thực tế là tuyến tính \(O(N)\) đối với độ dài văn bản.
  2. Nếu dùng cấu trúc cây tiền tố Trie: Việc so khớp các tiền tố có thể thực hiện liên tục chỉ bằng cách đi dọc theo các cạnh của cây Trie từ gốc. Chi phí tra cứu chỉ mất đúng \(O(L_{\max})\) ký tự mà không cần phải cắt chuỗi hay tính lại mã băm nhiều lần, giúp tối ưu hóa bộ nhớ đệm CPU cache và tăng tốc độ xử lý lên gấp \(2\) đến \(3\) lần trên các tập dữ liệu lớn hàng gigabyte.
Muốn học bài bản cùng giảng viên?

Khóa AI – Introduction to Machine Learning: nền tảng Máy học từ thuật toán cơ bản đến Neural Networks và LLM, học bằng Python. Học thử buổi 1 miễn phí.

Xem Khóa AI

Nguồn tham khảo

Chia sẻ: Facebook LinkedIn
Nhắn Zalo tư vấnZalo Gọi 0937 401 483