- CLIP có một bộ mã hóa ảnh (ResNet hoặc ViT) và một bộ mã hóa chữ (Transformer), cùng chiếu vào một không gian vector; ảnh và câu mô tả đúng của nó có cosin cao.
- Huấn luyện bằng học tương phản: trong một lô N cặp, mô hình phải đoán cặp nào trong N×N cách ghép là thật. Lô của bài báo có 32.768 cặp.
- Phân loại không cần huấn luyện lại (zero-shot): biến tên nhãn thành câu, chọn câu có cosin cao nhất. Bản tốt nhất đạt 76,2% trên ImageNet mà không dùng ảnh huấn luyện nào của ImageNet.
- Giới hạn: kém khi đếm vật, phân biệt loài hay đời xe, đọc chữ số viết tay; thẻ mô hình chỉ dành CLIP cho nghiên cứu.
Mọi con số trong bài lấy từ bản PDF của bài báo CLIP (Radford và cộng sự, arXiv 2103.00020v1), cùng README và thẻ mô hình của kho openai/CLIP, đọc ngày 12/11/2026. Bài coi như bạn đã biết embedding là gì và bộ mã hóa ảnh Vision Transformer hoạt động thế nào.
CLIP là gì
CLIP (Contrastive Language-Image Pre-training, huấn luyện trước ảnh và chữ bằng học tương phản) được OpenAI công bố tháng 1/2021. Nó không trả lời câu hỏi và không vẽ ảnh. Thứ CLIP cho ra là hai loại vector: đưa vào một ảnh thì được vector ảnh, đưa vào một câu thì được vector chữ, và hai loại này so được với nhau bằng độ tương đồng cosin.
Điểm khác với embedding văn bản thông thường là hai bộ mã hóa được huấn luyện chung để nói cùng một "ngôn ngữ". Vector của ảnh một con mèo nằm gần vector của câu "một con mèo" hơn là câu "một chiếc xe đạp". Từ một thao tác đơn giản như vậy sinh ra tìm ảnh bằng chữ, phân loại ảnh theo nhãn tùy ý, và điều khiển mô hình sinh ảnh bằng câu lệnh.
Dữ liệu: 400 triệu cặp ảnh và chữ
Các tập có chú thích sẵn thời đó quá nhỏ: MS-COCO và Visual Genome có khoảng 100 nghìn ảnh; YFCC100M có 100 triệu ảnh nhưng sau khi lọc lấy ảnh có tiêu đề hay mô tả tiếng Anh thật thì còn 15 triệu. Nhóm tác giả tự xây tập WIT (WebImageText) gồm 400 triệu cặp (ảnh, chữ) từ các nguồn công khai trên Internet. Họ tìm các cặp có chữ chứa một trong 500.000 truy vấn (mọi từ xuất hiện ít nhất 100 lần trong Wikipedia tiếng Anh, cộng thêm cụm hai từ, tên bài Wikipedia và các nhóm nghĩa của WordNet), mỗi truy vấn lấy tối đa 20.000 cặp để cân bằng.
Thẻ mô hình ghi rõ hệ quả: dữ liệu nghiêng về những người và xã hội kết nối Internet nhiều nhất, tức các nước phát triển, người trẻ và nam giới; tập dữ liệu không được công bố.
Học tương phản: đoán cặp nào là thật
Cách đầu tiên nhóm tác giả thử là cho mô hình đoán đúng từng chữ của chú thích, như một mô hình ngôn ngữ nhìn ảnh. Cách đó chậm: một mô hình ngôn ngữ 63 triệu tham số học nhận diện lớp ImageNet chậm hơn 3 lần so với một đường cơ sở chỉ đoán túi từ của chú thích. Đổi sang mục tiêu tương phản, chỉ cần đoán câu nào đi với ảnh nào chứ không cần đoán đúng từng chữ, hiệu quả tăng thêm 4 lần (Hình 2 của bài báo).
Cụ thể, với một lô N cặp, hai bộ mã hóa cho các vector ảnh \(u_i\) và vector chữ \(v_j\), đều chuẩn hóa về độ dài 1. Điểm của cặp (ảnh i, câu j) là cosin chia cho nhiệt độ \(\tau\):
\[s_{ij} = \frac{u_i \cdot v_j}{\tau}\]
Trong ma trận N×N, đường chéo là N cặp thật, còn \(N^2 - N\) ô kia là cặp sai. Hàm mất mát là entropy chéo đối xứng: mỗi hàng (một ảnh) phải chọn đúng câu, mỗi cột (một câu) phải chọn đúng ảnh:
\[\begin{aligned} \mathcal{L}_I &= -\frac{1}{N}\sum_{i=1}^{N} \log \frac{e^{s_{ii}}}{\sum_{j} e^{s_{ij}}} \\ \mathcal{L}_T &= -\frac{1}{N}\sum_{j=1}^{N} \log \frac{e^{s_{jj}}}{\sum_{i} e^{s_{ij}}} \\ \mathcal{L} &= \tfrac{1}{2}\left(\mathcal{L}_I + \mathcal{L}_T\right) \end{aligned}\]
Bài báo ghi cách xếp lô và mục tiêu này đã có từ trước, với tên N-pair loss và InfoNCE. Hai chi tiết đáng nhớ: \(\tau\) được học trong lúc huấn luyện, khởi tạo bằng 0,07 (tức nhân cosin với khoảng 14,3) và bị chặn để hệ số nhân không vượt 100; lô có 32.768 cặp, nên mỗi ảnh được so với 32.767 câu sai. README của kho ghi mô hình trả về cosin nhân 100, đúng mức chặn đó.
Code numpy: hàm mất mát tương phản
Đoạn code sau làm đúng các bước trong mã giả ở Hình 3 của bài báo: chuẩn hóa, nhân ma trận, nhân hệ số, entropy chéo theo hàng và theo cột. Vector ảnh và chữ được chọn tay để minh họa, như thể đã đi qua hai bộ mã hóa.
"""CLIP bằng numpy: hàm mất mát tương phản đối xứng và phân loại không cần huấn luyện (zero-shot).
Vector ảnh và vector chữ dưới đây chọn tay để minh họa, như thể đã đi qua hai bộ mã hóa.
Chạy: python clip_tuong_phan.py (cần numpy)
"""
import numpy as np
def chuan_hoa(x):
"""Đưa mỗi dòng về độ dài 1, để tích vô hướng chính là cosin."""
return x / np.linalg.norm(x, axis=1, keepdims=True)
def log_softmax(a, truc):
a = a - a.max(axis=truc, keepdims=True)
return a - np.log(np.exp(a).sum(axis=truc, keepdims=True))
def mat_mat_clip(anh, chu, thang):
"""anh, chu: (N, d); cặp thứ i của hai mảng đi với nhau. Trả về mất mát và ma trận logit N×N."""
logit = chuan_hoa(anh) @ chuan_hoa(chu).T * thang
dung = np.arange(len(anh)) # đáp án nằm trên đường chéo
mat_anh = -log_softmax(logit, truc=1)[dung, dung].mean() # mỗi ảnh phải chọn đúng câu của nó
mat_chu = -log_softmax(logit, truc=0)[dung, dung].mean() # mỗi câu phải chọn đúng ảnh của nó
return (mat_anh + mat_chu) / 2 + 0.0, logit # + 0.0 để không in ra -0.0
def zero_shot(anh_moi, cac_cau, thang):
"""Xác suất mỗi câu mô tả khớp với ảnh: softmax của cosin nhân thang."""
logit = chuan_hoa(anh_moi) @ chuan_hoa(cac_cau).T * thang
return np.exp(log_softmax(logit, truc=1))
ANH = np.array([[0.8, 0.5, 0.1, 0.3], # ảnh con mèo
[0.5, 0.8, 0.2, 0.1], # ảnh con chó
[0.1, 0.2, 0.9, 0.4]]) # ảnh xe đạp
CHU = np.array([[0.7, 0.4, 0.2, 0.2], # "một con mèo"
[0.4, 0.7, 0.1, 0.2], # "một con chó"
[0.2, 0.1, 0.8, 0.5]]) # "một chiếc xe đạp"
NHAN = ["mèo", "chó", "xe đạp"]
def chay_thu():
cosin = chuan_hoa(ANH) @ chuan_hoa(CHU).T
print("Cosin ảnh (hàng) với câu (cột):")
for ten, hang in zip(NHAN, cosin):
print(f" ảnh {ten:6s}", " ".join(f"{v:.2f}" for v in hang))
t = 1 / 0.07 # nhiệt độ khởi tạo 0,07 trong bài báo
dung, _ = mat_mat_clip(ANH, CHU, t)
sai, _ = mat_mat_clip(ANH, CHU[[1, 2, 0]], t) # đảo câu: ảnh mèo đi với "một con chó"...
print(f"Mất mát khi ghép đúng: {dung:.4f}; khi đảo câu: {sai:.4f}")
for thang in (1.0, t, 100.0):
print(f" thang {thang:6.2f}: mất mát {mat_mat_clip(ANH, CHU, thang)[0]:.4f}")
moi = np.array([[0.6, 0.5, 0.2, 0.2]]) # một ảnh mới, chưa có trong "dữ liệu"
p = zero_shot(moi, CHU, 100.0)[0]
print("Zero-shot cho ảnh mới:", ", ".join(f"{ten} {x:.3f}" for ten, x in zip(NHAN, p)))
if __name__ == "__main__":
chay_thu()
Ma trận cosin cho thấy ảnh mèo gần câu "một con mèo" (0,99) nhưng cũng khá gần câu "một con chó" (0,89), vì hai khái niệm này gần nhau. Với nhiệt độ khởi tạo, mất mát khi ghép đúng là 0,1402; đảo câu đi một vòng thì mất mát vọt lên 5,7391. Dòng so hệ số nhân cho thấy vai trò của nhiệt độ: nhân 1 thì mất mát là 0,8635, gần mức \(\log 3 \approx 1{,}0986\) của một mô hình đoán bừa giữa ba câu; nhân 100 thì gần như bằng 0. Dòng cuối là phân loại zero-shot cho một ảnh mới: 99,4% là mèo.
Muốn tự kiểm khi viết lại hàm này, thử trường hợp mọi vector giống hệt nhau: mất mát phải đúng bằng \(\log N\). Với hai cặp vuông góc và hệ số nhân s, kết quả phải là \(\log(1 + e^{-s})\).
Phân loại ảnh không cần huấn luyện lại
Để phân loại một tập ảnh mới, CLIP biến mỗi tên lớp thành một câu, mã hóa các câu đó một lần, rồi với mỗi ảnh chọn câu có cosin cao nhất. Bài báo nhìn bước này như một bộ phân loại tuyến tính mà trọng số do bộ mã hóa chữ sinh ra. Kết quả trên ImageNet: 76,2% (mô hình trước đó, Visual N-Grams, đạt 11,5%), ngang ResNet-50 gốc mà không dùng ảnh nào trong 1,28 triệu ảnh có nhãn của ImageNet. So với một bộ phân loại tuyến tính huấn luyện đầy đủ trên đặc trưng của ResNet-50, CLIP zero-shot thắng ở 16 trên 27 tập dữ liệu.
Câu chữ đưa vào ảnh hưởng nhiều tới kết quả. Một từ có thể nhiều nghĩa: ImageNet có cả "crane" là cần cẩu và "crane" là con sếu. Dữ liệu huấn luyện cũng hiếm khi chỉ có một từ đi kèm ảnh. Dùng mẫu "A photo of a {label}." tăng 1,3% trên ImageNet; lấy trung bình vector của 80 mẫu câu khác nhau tăng thêm 3,5%; cộng lại gần 5%. Vì lấy trung bình trên vector chữ, chi phí khi chạy vẫn như dùng một câu.
Các bản mô hình và giấy phép
Bài báo huấn luyện 5 bộ mã hóa ảnh kiểu ResNet (RN50, RN101, RN50x4, RN50x16, RN50x64) và 3 kiểu ViT (ViT-B/32, ViT-B/16, ViT-L/14), tất cả 32 lượt qua dữ liệu. Bản RN50x64 mất 18 ngày trên 592 GPU V100, bản ViT lớn nhất mất 12 ngày trên 256 GPU V100. Bộ mã hóa chữ có 63 triệu tham số, 12 lớp, rộng 512, 8 đầu chú ý, từ vựng 49.152 token; bài báo cắt câu ở 76 token, còn hàm tokenize của kho dùng ngữ cảnh 77 token.
Theo kho openai/CLIP (đọc ngày 12/11/2026), hàm clip.available_models() liệt kê 9 bản: thêm ViT-L/14@336px, bản ViT-L/14 huấn luyện thêm một lượt ở 336 điểm ảnh và là bản bài báo gọi là "CLIP". Mã nguồn dùng giấy phép MIT. Thẻ mô hình nói rõ: CLIP là sản phẩm nghiên cứu; mọi cách triển khai thành sản phẩm, thương mại hay không, hiện nằm ngoài phạm vi khuyến nghị; giám sát và nhận diện khuôn mặt luôn nằm ngoài phạm vi; và mô hình chỉ nên dùng với tiếng Anh.
CLIP trong các công cụ bạn gặp
Tìm ảnh bằng câu chữ là ứng dụng thẳng nhất: mã hóa kho ảnh một lần, lưu vector vào một cơ sở dữ liệu vector, rồi mã hóa câu tìm và lấy các ảnh gần nhất. Theo README của CompVis, Stable Diffusion bản 1 dùng vector chữ của bộ mã hóa chữ CLIP ViT-L/14 để điều khiển quá trình sinh ảnh. Trong ComfyUI, nút Load Checkpoint cho ra ba thứ: mô hình chính, bộ mã hóa chữ được đặt tên là CLIP, và bộ giải mã ảnh VAE (tài liệu ComfyUI, đọc ngày 12/11/2026). Chữ CLIP bạn thấy ở đó chính là nửa chữ của mô hình trong bài này.
Giới hạn của CLIP
Bài báo dành hẳn một mục cho giới hạn. CLIP kém ở phân loại chi tiết (đời xe, loài hoa, biến thể máy bay), ở việc đếm số vật trong ảnh, và gần như đoán bừa ở các việc lạ như ước khoảng cách tới chiếc xe gần nhất. Nó đọc tốt chữ in nhưng chỉ đạt 88% trên chữ số viết tay MNIST, thua cả hồi quy logistic trên điểm ảnh thô, vì dữ liệu huấn luyện gần như không có ảnh giống MNIST. CLIP chỉ chọn được trong danh sách nhãn bạn đưa, không tự viết được chú thích. Dữ liệu web không lọc kỹ khiến mô hình mang thiên kiến xã hội, được phân tích ở mục 7 của bài báo. Nhóm tác giả ước cần khoảng 1.000 lần tính toán nữa để CLIP zero-shot đạt mức tốt nhất trên mọi tập.
- Quên chuẩn hóa vector trước khi lấy tích vô hướng: khi đó điểm số không còn là cosin.
- Dùng tên nhãn trơn một từ: thường kém hơn mẫu câu đầy đủ, và dễ nhầm với từ nhiều nghĩa.
- Viết câu quá dài: ngữ cảnh của bộ mã hóa chữ chỉ có 77 token; hàm
clip.tokenizecủa kho báo lỗi với câu dài hơn, trừ khi bạn cho cắt bớt bằngtruncate=True. - Đưa CLIP vào sản phẩm khi thẻ mô hình chưa khuyến nghị, nhất là cho việc liên quan tới con người.
- Dùng câu tiếng Việt với bản CLIP gốc: mô hình được huấn luyện và đánh giá bằng tiếng Anh.
Câu hỏi thường gặp
CLIP có phải mô hình tạo ảnh không?
Không. CLIP chỉ biến ảnh và chữ thành vector để so sánh. Các mô hình tạo ảnh như Stable Diffusion dùng phần chữ của CLIP để hiểu câu lệnh, còn việc tạo ảnh do mô hình khuếch tán đảm nhiệm.
Zero-shot nghĩa là gì?
Là dùng mô hình cho một tập nhãn mới mà không huấn luyện thêm trên ảnh có nhãn của tập đó. Bạn chỉ cần viết tên các lớp thành câu.
Vì sao CLIP cần lô lớn như vậy?
Mỗi câu sai trong lô là một ví dụ phản đối. Một lô gồm 32.768 cặp thì mỗi ảnh có 32.767 câu sai để so, nên mô hình học phân biệt kỹ hơn.
CLIP có dùng được cho tiếng Việt không?
Bản gốc của OpenAI được huấn luyện và đánh giá bằng tiếng Anh, và thẻ mô hình khuyên chỉ dùng với tiếng Anh. Với tiếng Việt, hãy tìm mô hình đa ngôn ngữ và thử trên dữ liệu của bạn.
Học tiếp
- Bộ mã hóa ảnh mà CLIP dùng: Vision Transformer (ViT).
- Vector biểu diễn nghĩa và độ tương đồng cosin: embedding là gì.
- Mô hình tạo ảnh dùng bộ mã hóa chữ CLIP: Stable Diffusion là gì.
Nếu bạn muốn học Python và AI bài bản cùng giảng viên, tham khảo khóa học AI của Big-O Coding.
Khóa AI – Introduction to Machine Learning: nền tảng Máy học từ thuật toán cơ bản đến Neural Networks và LLM, học bằng Python. Học thử buổi 1 miễn phí.
Nguồn tham khảo
- Radford và cộng sự (2021): Learning Transferable Visual Models From Natural Language Supervision, arXiv 2103.00020v1 (đọc bản PDF ngày 12/11/2026)
- openai/CLIP: README, danh sách mô hình, giấy phép MIT (đọc ngày 12/11/2026)
- Model Card: CLIP (đọc ngày 12/11/2026)
- CompVis/stable-diffusion: README, mục Stable Diffusion v1 (đọc ngày 12/11/2026)
- ComfyUI Docs: Your First Image in ComfyUI (đọc ngày 12/11/2026)


