AI & Machine Learning

Whisper: mô hình nhận dạng giọng nói của OpenAI hoạt động thế nào

Whisper là mô hình nhận dạng giọng nói mã nguồn mở của OpenAI: một Transformer mã hóa, giải mã nhận phổ Mel của 30 giây âm thanh và viết ra chữ, có thể chép lời gần 100 thứ tiếng, dịch sang tiếng Anh và đoán ngôn ngữ. Sức mạnh của nó đến từ 680.000 giờ âm thanh có bản chép lời lấy từ Internet, không qua kiểm duyệt từng câu. Bài này giải thích kiến trúc, dữ liệu, cách đo tỉ lệ lỗi từ, và chất lượng với tiếng Việt theo đúng bảng số của bài báo.

Ý chính
  • Whisper là Transformer mã hóa, giải mã: âm thanh 16 kHz thành phổ Mel 80 kênh (128 kênh ở large-v3 và turbo), mỗi lần xử lý một đoạn 30 giây; bộ giải mã viết ra chữ cùng các token đặc biệt chỉ ngôn ngữ, việc cần làm và mốc giờ.
  • Dữ liệu là 680.000 giờ âm thanh kèm bản chép lời lấy từ Internet (gán nhãn yếu), trong đó tiếng Việt có 691 giờ chép lời và 1.719 giờ dịch sang tiếng Anh.
  • Chất lượng đo bằng tỉ lệ lỗi từ (WER); trên bộ Fleurs tiếng Việt, WER giảm từ 60,0% ở bản tiny xuống 10,3% ở bản large-v2.
  • Mã và trọng số theo giấy phép MIT; bản turbo nhanh hơn nhưng không được huấn luyện để dịch; faster-whisper là bản cài lại nhanh hơn tới 4 lần.

Bài dựa trên bản PDF của bài báo Whisper (Radford và cộng sự, arXiv 2212.04356v1), README và thẻ mô hình của kho openai/whisper, đọc ngày 12/11/2026. Bài này nói mô hình bên trong làm gì; cách dùng công cụ chép lời để làm phụ đề hay ghi chép bài giảng có ở bài AI tạo phụ đề tự động và AI chép lời bài giảng.

Whisper là gì

Whisper là họ mô hình nhận dạng giọng nói (ASR, automatic speech recognition) do OpenAI phát hành tháng 9/2022, kèm mã chạy. Một mô hình làm được nhiều việc: chép lời nhiều thứ tiếng, dịch lời nói sang chữ tiếng Anh, nhận ra đang nói tiếng gì, và phát hiện đoạn không có tiếng người. Theo README, mã và trọng số được phát hành theo giấy phép MIT.

Bài báo không đưa ra kiến trúc mới. Nhóm tác giả cố ý dùng một Transformer có sẵn để chứng minh điều khác: huấn luyện có giám sát trên rất nhiều dữ liệu "bẩn" cho mô hình chạy tốt ngay trên tập dữ liệu chưa từng thấy, không cần tinh chỉnh riêng.

Whisper: từ sóng âm đến chữ Âm thanh 30 giây 16 kHz, 480.000 mẫu Phổ Mel 80 kênh × 3.000 khung Bộ mã hóa 1.500 vị trí Bộ giải mã sinh từng token <|startoftranscript|> <|vi|> <|transcribe|> <|notimestamps|> xin chào Token đặc biệt báo ngôn ngữ, việc cần làm (chép lời hay dịch sang tiếng Anh) và có ghi mốc giờ hay không
Whisper: từ sóng âm đến chữ Âm thanh 30 giây 16 kHz Phổ Mel 80 × 3.000 Bộ mã hóa 1.500 vị trí Bộ giải mã sinh từng token <|startoftranscript|> <|vi|> <|transcribe|> <|notimestamps|> xin chào Token đặc biệt báo ngôn ngữ, việc cần làm và có ghi giờ không
Hình 1. Đường đi của 30 giây âm thanh trong Whisper: 480.000 mẫu ở 16 kHz thành phổ Mel 80 kênh × 3.000 khung, bộ mã hóa còn 1.500 vị trí, bộ giải mã viết lần lượt các token đặc biệt (bắt đầu, ngôn ngữ, việc cần làm, không ghi giờ) rồi tới chữ chép được.

Từ sóng âm đến phổ Mel

Âm thanh được lấy mẫu lại ở 16.000 Hz. Whisper không đọc thẳng sóng âm mà đọc phổ Mel: chia âm thanh thành các cửa sổ 25 mili giây, cứ 10 mili giây trượt một lần, và với mỗi cửa sổ đo năng lượng trên 80 dải tần. Các dải này hẹp ở tần số thấp và rộng ở tần số cao, gần với cách tai người phân biệt âm. Kết quả là một bức "ảnh" hai chiều, trục ngang là thời gian, trục dọc là tần số, được co giãn về khoảng từ -1 đến 1.

Mô hình luôn nhận đúng 30 giây. Làm tính: 30 giây ở 16 kHz là 480.000 mẫu; bước 10 mili giây là 160 mẫu, nên có 3.000 khung. Trước các khối Transformer, bộ mã hóa có hai lớp tích chập với bộ lọc rộng 3, lớp thứ hai bước nhảy 2, nên còn 1.500 vị trí. Đoạn ngắn hơn 30 giây được đệm thêm, đoạn dài hơn được chép theo từng cửa sổ 30 giây nối nhau. Các con số trên là của bài báo; large-v3 và turbo dùng 128 kênh Mel. Code mẫu trong README lấy số kênh Mel từ chính mô hình (model.dims.n_mels), nên khi tự viết code đừng viết cứng con số 80.

Bộ mã hóa, bộ giải mã và token đặc biệt

Bộ mã hóa biến phổ Mel thành chuỗi vector. Bộ giải mã là một mô hình ngôn ngữ có điều kiện theo âm thanh: nó viết từng token, nhìn vào đầu ra của bộ mã hóa qua cơ chế chú ý chéo; hai bên cùng độ rộng, cùng số khối. Nếu bạn chưa quen hai khái niệm này, đọc bài kiến trúc Transformer.

Điểm khéo là cách báo cho mô hình phải làm việc gì. Mọi thứ được viết thành chuỗi token cho bộ giải mã: token bắt đầu, token ngôn ngữ (99 thứ tiếng trong bài báo, mỗi thứ một token; large-v3 và turbo thêm tiếng Quảng Đông thành 100), token việc cần làm (chép lời hay dịch), token cho biết có ghi mốc giờ hay không, rồi mới tới chữ. Mốc giờ được làm tròn tới 20 mili giây và cũng là token. Khi đoạn âm thanh không có tiếng người, mô hình học viết token "không có lời nói". Đôi khi chữ đã chép của đoạn trước được đưa vào làm ngữ cảnh, giúp đoán chỗ nghe không rõ.

Bảng 1 của bài báo và README cho các cỡ mô hình:

Cỡ Số lớp Độ rộng Số đầu Tham số Bản chỉ tiếng Anh
tiny 4 384 6 39 triệu có
base 6 512 8 74 triệu có
small 12 768 12 244 triệu có
medium 24 1024 16 769 triệu có
large 32 1280 20 1.550 triệu không
turbo (README không ghi) 809 triệu không

Bản large-v2 ra tháng 12/2022 được huấn luyện lâu gấp 2,5 lần bản large đầu; large-v3 ra tháng 11/2023; turbo, bản tối ưu của large-v3, ra tháng 9/2024 (thẻ mô hình). README ghi turbo 809 triệu tham số, còn thẻ mô hình ghi 798 triệu: hai trang của cùng một kho chưa thống nhất.

Dữ liệu gán nhãn yếu: 680.000 giờ

"Gán nhãn yếu" (weak supervision) nghĩa là bản chép lời đi kèm âm thanh không được con người kiểm từng câu. Nhóm tác giả gom 680.000 giờ âm thanh có bản chép lời từ Internet, rồi lọc bằng nhiều mẹo. Bản chép lời do máy khác tạo ra bị loại, vì học theo nó thì mô hình học luôn lỗi của máy; dấu hiệu là chữ toàn hoa hay toàn thường, hoặc không bao giờ có dấu phẩy. Một bộ nhận ngôn ngữ kiểm xem tiếng nói có khớp tiếng của bản chép lời không; nếu âm thanh không phải tiếng Anh mà chữ là tiếng Anh, cặp đó thành dữ liệu dịch. Bản chép lời gần trùng nhau bị gộp lại, và sau lần huấn luyện đầu, các nguồn có tỉ lệ lỗi cao được xem tay rồi loại.

Phụ lục E cho số giờ cụ thể: 438.218 giờ chép lời tiếng Anh, 117.113 giờ chép lời 96 thứ tiếng khác và 125.739 giờ dịch sang tiếng Anh. Tiếng Việt có 691 giờ chép lời và 1.719 giờ dịch, ít hơn tiếng Anh hàng trăm lần; thẻ mô hình ghi chất lượng chép lời của một thứ tiếng tương quan thuận với lượng dữ liệu của thứ tiếng đó.

Đo chất lượng bằng WER

Tỉ lệ lỗi từ (word error rate) so bản máy chép với bản chép chuẩn. Gióng hai câu sao cho số lỗi ít nhất, rồi đếm số từ bị thay S, bị mất D và bị chèn thêm I, chia cho số từ của câu chuẩn N:

\[\mathrm{WER} = \frac{S + D + I}{N}\]

Vì có từ chèn thêm, WER có thể vượt 100%. Với tiếng Việt, mỗi âm tiết cách nhau bằng dấu cách được tính là một từ. Bài báo nhấn mạnh việc chuẩn hóa chữ trước khi đo; với tiếng không phải tiếng Anh, họ bỏ cụm trong ngoặc, thay dấu câu và ký hiệu bằng dấu cách, viết thường. Đoạn code dưới đây làm đúng các bước đó.

"""Đo tỉ lệ lỗi từ (WER) theo cách bài báo Whisper làm với tiếng không phải tiếng Anh, và tính cỡ đầu vào bộ mã hóa.

Chạy: python do_wer.py  (cần numpy)
"""
import re
import unicodedata

import numpy as np


def chuan_hoa(cau):
    """Chuẩn hóa cơ bản cho tiếng không phải tiếng Anh (phụ lục C của bài báo): bỏ cụm trong [] và (),
    thay mọi ký tự thuộc nhóm Unicode M, S, P bằng dấu cách (sau khi chuẩn NFKC), viết thường, gộp dấu cách."""
    cau = re.sub(r"\[[^\]]*\]|\([^)]*\)", " ", cau)
    cau = unicodedata.normalize("NFKC", cau)
    cau = "".join(" " if unicodedata.category(k)[0] in "MSP" else k for k in cau)
    return cau.lower().split()


def dem_loi(goc, nghe):
    """Quy hoạch động kiểu khoảng cách Levenshtein trên từ. Trả về (S, D, I): thay, xóa, chèn."""
    n, m = len(goc), len(nghe)
    d = np.zeros((n + 1, m + 1), dtype=int)
    d[:, 0] = np.arange(n + 1)
    d[0, :] = np.arange(m + 1)
    for i in range(1, n + 1):
        for j in range(1, m + 1):
            d[i, j] = min(d[i - 1, j] + 1, d[i, j - 1] + 1, d[i - 1, j - 1] + (goc[i - 1] != nghe[j - 1]))
    i, j, s, x, c = n, m, 0, 0, 0                 # lần ngược để biết lỗi nào là thay, xóa hay chèn
    while i > 0 or j > 0:
        if i > 0 and j > 0 and d[i, j] == d[i - 1, j - 1] + (goc[i - 1] != nghe[j - 1]):
            s += goc[i - 1] != nghe[j - 1]
            i, j = i - 1, j - 1
        elif i > 0 and d[i, j] == d[i - 1, j] + 1:
            x, i = x + 1, i - 1
        else:
            c, j = c + 1, j - 1
    return s, x, c


def wer(cau_goc, cau_nghe, chuan=True):
    goc = chuan_hoa(cau_goc) if chuan else cau_goc.split()
    nghe = chuan_hoa(cau_nghe) if chuan else cau_nghe.split()
    if not goc:
        raise ValueError("câu gốc rỗng: WER không xác định")
    s, x, c = dem_loi(goc, nghe)
    return (s + x + c) / len(goc), (s, x, c, len(goc))


def co_dau_vao(giay=30, tan_so=16000, buoc_ms=10):
    mau = giay * tan_so                          # số mẫu âm thanh
    khung = mau // (tan_so * buoc_ms // 1000)    # mỗi 10 ms (160 mẫu) một khung phổ Mel
    return mau, khung, khung // 2                # lớp tích chập thứ hai có bước 2


def pt(x):
    return f"{x * 100:.1f}%".replace(".", ",")


def chay_thu():
    mau, khung, vi_tri = co_dau_vao()
    print(f"30 giây ở 16 kHz: {mau:,} mẫu -> phổ Mel 80 kênh × {khung:,} khung -> {vi_tri:,} vị trí".replace(",", "."))
    goc = "Hôm nay trời Hà Nội nắng nhẹ, khoảng 25 độ."
    thu = [("Chỉ khác chữ hoa, dấu câu", "hôm nay trời hà nội nắng nhẹ khoảng 25 độ"),
           ("Nghe nhầm một từ, đọc số thành chữ", "hôm nay trời hà nội lắng nhẹ khoảng hai lăm độ"),
           ("Bỏ một từ, thêm một từ", "hôm nay hà nội nắng nhẹ lắm khoảng 25 độ")]
    w0, _ = wer(goc, thu[0][1], chuan=False)
    print(f"{thu[0][0]}: WER {pt(w0)} nếu không chuẩn hóa, {pt(wer(goc, thu[0][1])[0])} sau chuẩn hóa")
    for ten, nghe in thu[1:]:
        w, (s, x, c, n) = wer(goc, nghe)
        print(f"{ten}: WER {pt(w)} (S={s}, D={x}, I={c}, N={n})")
    w, (s, x, c, n) = wer("Xin chào [nhạc]", "xin chào các bạn thân mến")
    print(f"Chèn nhiều từ không có trong âm thanh: WER {pt(w)} (S={s}, D={x}, I={c}, N={n})")


if __name__ == "__main__":
    chay_thu()

Dòng đầu xác nhận phép tính ở trên: 480.000 mẫu, 3.000 khung, 1.500 vị trí. Ví dụ thứ nhất cho thấy vì sao phải chuẩn hóa: hai câu chỉ khác chữ hoa và dấu câu mà WER là 50% nếu so thô, 0% sau chuẩn hóa. Bài báo ghi chuẩn hóa làm WER giảm tới 50% trên vài tập dữ liệu. Ví dụ thứ hai là lỗi thật: "nắng" thành "lắng", và "25" thành "hai lăm" (một từ thay, một từ chèn), nên WER 30%. Ví dụ cuối mô phỏng ảo giác: âm thanh chỉ có hai từ mà máy viết ra sáu, WER 200%. Khi tự viết hàm đo, hãy kiểm bất biến: số từ máy chép = số từ chuẩn − số từ mất + số từ chèn.

Whisper với tiếng Việt

Bảng 13 của bài báo cho WER trên bộ Fleurs, phần tiếng Việt:

Cỡ tiny base small medium large large-v2
WER tiếng Việt (Fleurs) 60,0% 40,5% 21,2% 12,7% 10,7% 10,3%

Bài học rõ ràng: với tiếng Việt đừng dùng bản tiny hay base, vì cứ mười từ thì sai bốn đến sáu. Bản small vẫn sai khoảng một phần năm số từ; từ medium trở lên WER mới xuống quanh 10-13%. Số của large-v3 nằm trong hình ở README.

Nếu cần tốt hơn nữa, có thể tinh chỉnh Whisper trên dữ liệu tiếng Việt. PhoWhisper của VinAI (ICLR 2024 Tiny Papers) tinh chỉnh năm cỡ Whisper trên 844 giờ âm thanh tiếng Việt, gồm giọng của 26 nghìn người ở 63 tỉnh thành. Theo bảng 2 của bài báo này, bản lớn nhất đạt WER 4,67% trên tập VIVOS. Số này đo trên tập khác Fleurs, nên không so thẳng được với bảng trên.

Chạy nhanh hơn: turbo và faster-whisper

README đo tốc độ so với bản large khi chép tiếng Anh trên GPU A100: tiny nhanh khoảng 10 lần, base 7 lần, small 4 lần, medium 2 lần, turbo 8 lần; bộ nhớ GPU cần từ khoảng 1 GB (tiny, base) tới 10 GB (large). Turbo không được huấn luyện để dịch: với --task translate nó vẫn trả về chữ của ngôn ngữ gốc, nên muốn dịch hãy dùng medium hoặc large.

faster-whisper (SYSTRAN, giấy phép MIT) cài lại Whisper bằng thư viện CTranslate2. README của nó ghi nhanh hơn tới 4 lần với cùng độ chính xác và tốn ít bộ nhớ hơn. Bảng đo của họ chép 13 phút âm thanh bằng large-v2 trên RTX 3070 Ti: bản gốc fp16 mất 2 phút 23 giây và 4.708 MB bộ nhớ GPU; faster-whisper fp16 mất 1 phút 3 giây; bản lượng tử hóa int8 mất 59 giây và 2.926 MB.

Giới hạn: ảo giác và lặp

Thẻ mô hình thừa nhận vì học từ dữ liệu nhiễu, Whisper đôi khi viết ra câu không hề có trong âm thanh (ảo giác): nó vừa cố chép, vừa cố đoán từ tiếp theo. Kiểu mã hóa, giải mã cũng dễ sinh đoạn lặp. Với âm thanh dài, bài báo dùng tìm kiếm chùm 5 nhánh và tăng nhiệt độ lấy mẫu từng nấc 0,2 khi đoạn vừa sinh có xác suất quá thấp hoặc nén gzip được quá nhiều (dấu hiệu lặp). Chất lượng không đều giữa các giọng vùng miền và giữa các nhóm người nói. Thẻ mô hình cũng khuyên không chép lời bản ghi của người khác khi chưa được đồng ý.

Cẩn thận
  • Dùng bản tiny hoặc base cho tiếng Việt: WER trên Fleurs là 60,0% và 40,5%.
  • Dùng turbo để dịch sang tiếng Anh: bản này không được huấn luyện cho việc dịch.
  • So WER của hai hệ thống mà không chuẩn hóa chữ giống nhau: chênh lệch có thể chỉ do chữ hoa và dấu câu.
  • So WER đo trên hai tập dữ liệu khác nhau như thể cùng một thước đo.
  • Tin bản chép lời đoạn im lặng hay nhạc nền: đó là chỗ mô hình dễ ảo giác nhất.

Câu hỏi thường gặp

Whisper có miễn phí không?

Mã và trọng số trong kho openai/whisper theo giấy phép MIT, tải về chạy trên máy được. Dùng qua API của một nhà cung cấp thì theo bảng giá của nhà cung cấp đó.

Whisper có chạy trên máy không có GPU không?

Có, nhưng chậm. Bản nhỏ cần khoảng 1 GB bộ nhớ GPU theo README; trên CPU nên dùng bản lượng tử hóa int8 của faster-whisper.

Vì sao Whisper chỉ nghe 30 giây một lần?

Mô hình được huấn luyện trên các đoạn 30 giây, nên đầu vào cố định 3.000 khung phổ Mel. Âm thanh dài được chép theo cửa sổ trượt, dựa vào mốc giờ mô hình dự đoán để biết trượt tới đâu.

Whisper có nhận biết ai đang nói không?

Không được huấn luyện cho việc đó. Thẻ mô hình ghi các khả năng như phân biệt người nói chưa được đánh giá kỹ.

Học tiếp

Nếu bạn muốn học Python và AI bài bản cùng giảng viên, tham khảo khóa học AI của Big-O Coding.

Muốn học bài bản cùng giảng viên?

Khóa AI – Introduction to Machine Learning: nền tảng Máy học từ thuật toán cơ bản đến Neural Networks và LLM, học bằng Python. Học thử buổi 1 miễn phí.

Xem Khóa AI

Nguồn tham khảo

Chia sẻ: Facebook LinkedIn
Nhắn Zalo tư vấnZalo Gọi 0937 401 483