- Khắc phục điểm yếu chí mạng của LLM: RAG nhắm vào 3 vấn đề lớn nhất của mô hình ngôn ngữ lớn: hiện tượng bịa đặt thông tin (ảo giác - hallucination; RAG giảm chứ không loại bỏ hẳn), tri thức bị đóng băng theo thời gian (knowledge cutoff), và không thể tiếp cận dữ liệu nội bộ bảo mật của doanh nghiệp.
- Quy trình 3 pha chuẩn mực: Hệ thống vận hành trơn tru qua 3 công đoạn khép kín: Lập chỉ mục tài liệu (Indexing), Truy xuất đoạn văn bản tương đồng nhất (Retrieval) và Bổ sung ngữ cảnh sinh câu trả lời có trích dẫn nguồn kiểm chứng (Generation).
- Chi phí triển khai tối ưu: So với việc tinh chỉnh toàn phần (Full Fine-Tuning) đòi hỏi cụm máy chủ GPU đắt đỏ và chu kỳ cập nhật kéo dài hàng tuần, RAG cho phép cập nhật tài liệu mới ngay lập tức trong vài giây với chi phí vận hành cực rẻ.
1. Nguồn gốc bài toán: Tại sao LLM cần một "bộ não mở rộng"?
Các mô hình ngôn ngữ lớn như ChatGPT hay Claude giống như những học giả uyên bác đã đọc toàn bộ sách vở nhân loại trước một mốc thời gian cố định. Tuy nhiên, khi đưa vào môi trường doanh nghiệp thực tế, mô hình lập tức vấp phải những rào cản chết người:
- Ảo giác thông tin (Hallucination): Khi được hỏi về một quy trình vận hành nội bộ hoặc chính sách nhân sự công ty, vì không có dữ liệu trong trọng số, LLM sẽ tự động "sáng tác" ra một câu trả lời nghe cực kỳ logic và tự tin nhưng hoàn toàn sai lệch thực tế.
- Tri thức lỗi thời (Stale Knowledge): Giá vàng hôm nay, chính sách thuế mới ban hành tuần trước hay tỷ số bóng đá đêm qua hoàn toàn nằm ngoài tầm với của các trọng số mô hình đã đóng băng.
- Bảo mật dữ liệu riêng tư (Data Privacy): Doanh nghiệp không thể tải toàn bộ hợp đồng mật, báo cáo tài chính nội bộ lên máy chủ công cộng của các nhà cung cấp AI để huấn luyện mô hình nền tảng.
Năm 2020, Patrick Lewis cùng nhóm nghiên cứu tại Facebook AI (Meta) đề xuất giải pháp đột phá mang tên Retrieval-Augmented Generation (RAG).
Ý tưởng cốt lõi của RAG vô cùng thanh lịch: Thay vì bắt học sinh học thuộc lòng toàn bộ thư viện sách để đi thi, hãy cho phép học sinh mở sách tra cứu đúng trang chứa câu trả lời rồi tổng hợp lại.
2. Giải phẫu Kiến trúc Hệ thống RAG Chuẩn (Naive RAG)
Một hệ thống RAG tiêu chuẩn bao gồm hai luồng dữ liệu độc lập: Luồng nạp dữ liệu ngoại tuyến (Offline Indexing) và Luồng phục vụ truy vấn trực tuyến (Online Query & Generation).
2.1. Luồng 1: Lập chỉ mục dữ liệu (Offline Indexing Pipeline)
[Tài liệu thô: PDF/Word/Notion/SQL]
↓
┌───────────────────────────────────────┐
│ 1. Trích xuất văn bản (Parsing) │ → Làm sạch HTML, bảng biểu, metadata
└───────────────────────────────────────┘
↓
┌───────────────────────────────────────┐
│ 2. Phân đoạn văn bản (Chunking) │ → Cắt nhỏ thành các đoạn 300 - 500 từ
└───────────────────────────────────────┘
↓
┌───────────────────────────────────────┐
│ 3. Tạo Vector Nhúng (Embedding) │ → Đưa qua Embedding Model (Dense Vector)
└───────────────────────────────────────┘
↓
┌───────────────────────────────────────┐
│ 4. Lưu trữ Cơ sở dữ liệu Vector │ → Lập chỉ mục HNSW phục vụ tìm kiếm nhanh
└───────────────────────────────────────┘
- Trích xuất và làm sạch (Document Parsing): Thu thập tài liệu từ nhiều định dạng khác nhau (PDF báo cáo, bảng tính Excel, trang tài liệu Notion, email khách hàng), loại bỏ các ký tự rác và cấu trúc lại bảng biểu.
- Phân đoạn văn bản (Chunking): Đây là bước quan trọng nhất trong khâu nạp dữ liệu. Một cuốn sách 500 trang không thể nạp nguyên khối vào vector embedding vì sẽ làm loãng thông tin ngữ nghĩa. Tài liệu được cắt thành các đoạn nhỏ (chunks), thường có độ dài từ \(256\) đến \(512\) tokens kèm theo một khoảng chồng lấn (overlap, ví dụ 50 tokens) để giữ tính liên tục của ngữ cảnh.
- Mã hóa Vector (Embedding Generation): Từng đoạn chunk được đưa qua mô hình Embedding chuyên dụng (như OpenAI
text-embedding-3, BGE, Cohere Embed) để biến đổi thành một vector số thực nhiều chiều đại diện cho nội dung ngữ nghĩa. - Lưu trữ Vector Database: Các vector kèm theo văn bản gốc và siêu dữ liệu (metadata như tên file, số trang, ngày tạo) được lưu vào cơ sở dữ liệu vector chuyên dụng (như Pinecone, Qdrant, Milvus, Weaviate, pgvector).
2.2. Luồng 2: Phục vụ Truy vấn và Sinh câu trả lời (Online Query Pipeline)
Khi người dùng đặt một câu hỏi:
- Mã hóa câu hỏi (Query Embedding): Câu hỏi của người dùng được đưa qua cùng một mô hình Embedding đã dùng ở bước nạp tài liệu để sinh ra vector truy vấn \(\mathbf{q}\).
- Tìm kiếm ngữ nghĩa (Semantic Retrieval): Hệ thống Vector Database thực hiện tính toán độ tương đồng (thường là Cosine Similarity) giữa vector truy vấn \(\mathbf{q}\) với toàn bộ hàng triệu vector tài liệu đã lưu, trích xuất ra \(K\) đoạn văn bản có điểm số cao nhất (Top-\(K\) Chunks, thường chọn \(K = 3\) đến \(5\)).
- Tăng cường Ngữ cảnh (Prompt Augmentation): Hệ thống đóng gói câu hỏi của người dùng cùng các đoạn tài liệu tìm được vào một khuôn mẫu Prompt (Prompt Template) có cấu trúc chặt chẽ:
Bạn là trợ lý AI chuyên nghiệp của công ty. Chỉ sử dụng thông tin trong phần NGỮ CẢNH dưới đây để trả lời câu hỏi. Nếu ngữ cảnh không chứa thông tin, hãy thành thật trả lời "Tôi không biết", tuyệt đối không tự bịa đặt. --- NGỮ CẢNH DẪN CHỨNG --- [Đoạn tài liệu trích xuất 1] (Nguồn: Báo cáo tài chính Q3, trang 12) [Đoạn tài liệu trích xuất 2] (Nguồn: Biên bản họp HĐQT, trang 4) --- CÂU HỎI NGƯỜI DÙNG --- Doanh thu quý 3 tăng trưởng bao nhiêu phần trăm so với cùng kỳ năm ngoái? - Sinh câu trả lời có trích dẫn (Generation): LLM đọc prompt đã được bổ sung ngữ cảnh, trích xuất dữ liệu chính xác và sinh ra câu trả lời tự nhiên kèm theo chú thích nguồn tài liệu rõ ràng cho người dùng kiểm chứng.
3. Các kỹ thuật RAG Nâng cao (Advanced RAG Pipeline)
Mặc dù Naive RAG rất dễ xây dựng, trong các hệ thống doanh nghiệp phức tạp, nó thường gặp phải lỗi truy xuất sai tài liệu hoặc trả về thông tin rác. Để đạt độ chính xác cấp độ công nghiệp, kiến trúc Advanced RAG bổ sung các thành phần tối ưu hóa chuyên sâu:
3.1. Kỹ thuật Tiền truy xuất (Pre-Retrieval)
- Tách đoạn thích ứng theo cú pháp (Sentence-window Retrieval): Thay vì cắt văn bản ngẫu nhiên theo số từ cố định, hệ thống cắt theo ranh giới câu. Khi nhúng vector, nó chỉ nhúng một câu đơn lẻ, nhưng khi truy xuất và gửi cho LLM, nó tự động mở rộng ngữ cảnh bao gồm 3 câu phía trước và 3 câu phía sau.
- HyDE (Hypothetical Document Embeddings): Khi người dùng đặt câu hỏi quá ngắn (ví dụ: "chính sách thai sản"), vector của câu hỏi rất ngắn và khó khớp với văn bản pháp lý dài. HyDE yêu cầu LLM sinh ra một "câu trả lời giả định" trước, sau đó dùng vector của câu trả lời giả định này để đi tìm kiếm tài liệu thật trong cơ sở dữ liệu.
3.2. Kỹ thuật Hậu truy xuất (Post-Retrieval)
- Xếp hạng lại bằng Cross-Encoder (Reranking): Mô hình Bi-Encoder của Vector DB tính điểm tương đồng rất nhanh nhưng có độ chính xác vừa phải. Sau khi lấy ra Top-50 ứng viên ban đầu, hệ thống đưa chúng qua một mô hình Reranker (Cross-Encoder, ví dụ Cohere Rerank, BGE-Reranker) để chấm điểm tương quan chi tiết giữa từng cặp (Query, Document), lọc lại Top-3 tài liệu tinh túy nhất gửi cho LLM.
- Nén ngữ cảnh (Context Compression): Loại bỏ các câu văn thừa thãi trong đoạn trích xuất, chỉ giữ lại những câu thực sự liên quan trực tiếp đến câu hỏi để tiết kiệm số lượng token và tránh làm loãng sự chú ý của LLM.
Chủ đề này nằm trong Lecture 14 - Neural Networks của Khóa AI. Xem đề cương
4. Cài đặt thuật toán kiểm thử: Thuật toán Truy xuất Top-K theo Cosine Similarity
Dưới đây là mã nguồn cài đặt bước cốt lõi của công đoạn Retrieval: Tính toán độ tương đồng Cosine giữa vector truy vấn với danh sách các vector tài liệu và trích xuất chỉ số của \(K\) tài liệu phù hợp nhất trong cả Python và C++17:
import math
def retrieve_top_k(query_vec, doc_vecs, k):
q_norm = math.sqrt(sum(x * x for x in query_vec))
scored = []
for idx, doc in enumerate(doc_vecs):
d_norm = math.sqrt(sum(x * x for x in doc))
dot = sum(q * d for q, d in zip(query_vec, doc))
sim = dot / (q_norm * d_norm) if (q_norm > 0 and d_norm > 0) else 0.0
# Round sim to 8 decimals to avoid slight float instability
sim_round = round(sim, 8)
scored.append((sim_round, -idx, idx))
scored.sort(reverse=True)
return [item[2] for item in scored[:k]]
#include <iostream>
#include <vector>
#include <cmath>
#include <algorithm>
std::vector<int> retrieve_top_k(
const std::vector<double>& query_vec,
const std::vector<std::vector<double>>& doc_vecs,
int k
) {
double q_norm = 0.0;
for (double x : query_vec) q_norm += x * x;
q_norm = std::sqrt(q_norm);
struct Candidate {
double sim;
int idx;
};
std::vector<Candidate> scored;
scored.reserve(doc_vecs.size());
for (int i = 0; i < (int)doc_vecs.size(); ++i) {
double d_norm = 0.0;
double dot = 0.0;
for (size_t j = 0; j < query_vec.size(); ++j) {
dot += query_vec[j] * doc_vecs[i][j];
d_norm += doc_vecs[i][j] * doc_vecs[i][j];
}
d_norm = std::sqrt(d_norm);
double sim = (q_norm > 0 && d_norm > 0) ? (dot / (q_norm * d_norm)) : 0.0;
double sim_round = std::round(sim * 1e8) / 1e8;
scored.push_back({sim_round, i});
}
std::sort(scored.begin(), scored.end(), [](const Candidate& a, const Candidate& b) {
if (std::abs(a.sim - b.sim) > 1e-7) return a.sim > b.sim;
return a.idx < b.idx;
});
std::vector<int> res;
for (int i = 0; i < k && i < (int)scored.size(); ++i) {
res.push_back(scored[i].idx);
}
return res;
}
Phân tích độ phức tạp thuật toán
- Độ phức tạp thời gian: Với truy vấn \(d\) chiều và \(N\) tài liệu, việc tính toán độ tương đồng Cosine tiêu tốn \(\mathcal{O}(N \cdot d)\) phép toán. Code mẫu sắp xếp toàn bộ \(N\) điểm số nên tốn thêm \(\mathcal{O}(N \log N)\); nếu dùng sắp xếp từng phần (
heapq.nlargest,std::partial_sort) hoặc hàng đợi ưu tiên min-heap kích thước \(K\) thì chỉ còn \(\mathcal{O}(N \log K)\). - Độ phức tạp không gian: Lưu trữ danh sách điểm số và chỉ số của \(N\) tài liệu chỉ đòi hỏi bộ nhớ phụ trợ \(\mathcal{O}(N)\).
5. So sánh chiến lược: Khi nào chọn RAG, khi nào chọn Fine-Tuning?
Một trong những câu hỏi phổ biến nhất của các nhà lãnh đạo kỹ thuật là: "Chúng tôi nên chọn giải pháp RAG hay Fine-Tuning mô hình để đưa dữ liệu công ty vào AI?"
| Tiêu chí phân định | Giải pháp RAG | Giải pháp Fine-Tuning |
|---|---|---|
| Bản chất kỹ thuật | Cung cấp tri thức qua ngữ cảnh mở rộng | Thay đổi ma trận trọng số nội tại của mạng |
| Mục đích tối ưu | Nạp tri thức sự kiện, tài liệu thay đổi liên tục | Dạy mô hình phong cách viết, văn phong, định dạng code |
| Tần suất cập nhật | Tức thời (vài giây sau khi nạp file vào DB) | Rất chậm (phải gom batch và huấn luyện lại) |
| Chi phí tính toán | Rất thấp (chỉ tốn chi phí Vector DB và API) | Rất cao (cần GPU VRAM lớn để huấn luyện) |
| Hiện tượng ảo giác | Giảm thiểu tối đa nhờ có trích dẫn nguồn | Vẫn có thể bịa đặt nếu gặp dữ liệu lạ |
| Khả năng kiểm chứng | Rõ ràng (luôn dẫn link file và số trang) | Hộp đen (không thể biết trọng số nào sinh ra chữ đó) |
| Kịch bản lý tưởng | Hỏi đáp tài liệu nội bộ, tra cứu luật, CSKH | Tạo trợ lý y khoa chuyên biệt, chuyển đổi code SQL |
Quy tắc ngón tay cái: Hãy luôn bắt đầu với RAG. Chỉ tìm đến Fine-Tuning khi bạn cần dạy mô hình tuân thủ một định dạng đầu ra cực kỳ đặc thù hoặc muốn thu nhỏ mô hình để chạy trên thiết bị biên. Thậm chí trong các hệ thống tối tân, RAG và Fine-Tuning thường được kết hợp nhịp nhàng: mô hình được fine-tune để học cách đọc hiểu tài liệu RAG tốt hơn.
6. Các bẫy kỹ thuật kinh điển khi triển khai RAG thực tế
- Chiến lược Chunking cẩu thả: Cắt văn bản thuần túy theo số ký tự cứng nhắc (ví dụ cứ 1.000 ký tự cắt một nhát) có thể làm đôi một câu văn quan trọng hoặc một bảng số liệu tài chính, khiến cả hai nửa chunk đều mất đi ý nghĩa ngữ cảnh. Luôn ưu tiên dùng các bộ tách thông minh (Recursive Character Text Splitter) tôn trọng ranh giới đoạn văn, tiêu đề mục và câu kết thúc.
- Ảo tưởng về Embedding toàn năng: Embedding chỉ nắm bắt ngữ nghĩa khái quát tốt, nhưng lại rất kém trong việc tìm kiếm các từ khóa chính xác như mã số định danh căn cước, mã sản phẩm (SKU) hay tên riêng nước ngoài. Trong thực tế, bắt buộc phải sử dụng Tìm kiếm lai (Hybrid Search): kết hợp điểm số ngữ nghĩa của Dense Vector với thuật toán tìm kiếm từ khóa cổ điển BM25.
- Nồi lẩu ngữ cảnh (Context Stuffing): Nhồi nhét quá nhiều tài liệu (\(K = 20\) hoặc \(30\) chunks) vào prompt sẽ kích hoạt hiện tượng "Lost in the Middle": LLM chỉ chú ý kỹ phần đầu và phần cuối của prompt, hoàn toàn bỏ qua thông tin vàng nằm ở lưng chừng giữa văn bản.
7. Bài tập vận dụng và câu hỏi phỏng vấn
- Câu hỏi: Giả sử một hệ thống RAG thường xuyên trả lời người dùng rằng "Tài liệu không cung cấp thông tin này" mặc dù thông tin đó thực sự có trong cơ sở dữ liệu. Bạn sẽ tiến hành debug lỗi ở khâu nào trước tiên?
- Gợi ý trả lời: Cần phân lập hai khâu: Retrieval và Generation. Trước hết kiểm tra nhật ký (logs) xem Top-\(K\) chunks được Vector DB trả về có chứa đoạn văn bản chứa câu trả lời hay không:
- Nếu Top-\(K\) chunks không chứa thông tin: Vấn đề nằm ở khâu Retrieval (chiến lược chunking quá dài/ngắn, embedding model kém chất lượng, hoặc câu hỏi người dùng quá lệch từ khóa). Cần cải thiện bằng Hybrid Search, Reranking hoặc HyDE.
- Nếu Top-\(K\) chunks có chứa thông tin nhưng LLM vẫn nói không biết: Vấn đề nằm ở khâu Generation (Prompt Template quá khắt khe, câu trả lời bị che lấp do lost in the middle, hoặc mô hình LLM có khả năng suy luận yếu). Cần tinh chỉnh lại Prompt và giảm bớt số lượng chunk thừa.
- Gợi ý trả lời: Cần phân lập hai khâu: Retrieval và Generation. Trước hết kiểm tra nhật ký (logs) xem Top-\(K\) chunks được Vector DB trả về có chứa đoạn văn bản chứa câu trả lời hay không:
- Câu hỏi: Tại sao việc chuẩn hóa độ dài vector (L2 Normalization) trước khi lưu vào Vector Database lại giúp tăng tốc độ tìm kiếm Cosine Similarity?
- Gợi ý trả lời: Công thức Cosine Similarity là \(\cos(\mathbf{u}, \mathbf{v}) = \frac{\mathbf{u} \cdot \mathbf{v}}{\|\mathbf{u}\|_2 \|\mathbf{v}\|_2}\). Nếu tất cả các vector đã được chuẩn hóa về độ dài đơn vị ngay từ đầu (\(\|\mathbf{u}\|_2 = \|\mathbf{v}\|_2 = 1.0\)), mẫu số luôn bằng \(1\). Khi đó phép tính Cosine Similarity rút gọn thành Tích vô hướng đơn thuần (Dot Product): \(\cos(\mathbf{u}, \mathbf{v}) = \mathbf{u} \cdot \mathbf{v} = \sum u_i v_i\). Phép tính này không cần tính căn bậc hai và phép chia, tận dụng tối đa tập lệnh SIMD/AVX và nhân Tensor Cores giúp tốc độ truy vấn tăng vọt.
Khóa AI – Introduction to Machine Learning: nền tảng Máy học từ thuật toán cơ bản đến Neural Networks và LLM, học bằng Python. Học thử buổi 1 miễn phí.


