- Token là đơn vị nhỏ mô hình dùng để xử lý văn bản: một từ, một phần của từ hoặc dấu câu; không có tỷ lệ cố định giữa token và từ.
- Cửa sổ ngữ cảnh chứa chỉ dẫn, dữ liệu, lịch sử trò chuyện và cả câu trả lời; quá giới hạn thì mô hình bỏ sót hoặc “quên” chi tiết.
- Ngữ cảnh gọn, đúng phần cần thường cho kết quả tốt hơn ngữ cảnh dài: tài liệu Anthropic (đọc ngày 11/11/2026) ghi rằng khi số token tăng, độ chính xác và khả năng nhớ lại giảm dần.
Bức tranh nhanh
Hình 1 cho thấy hai ý chính của bài: một câu được tách thành nhiều token, và chỉ dẫn, dữ liệu, lịch sử trò chuyện cùng câu trả lời đều phải nằm chung trong cửa sổ ngữ cảnh. Cách tách token thật khác nhau theo từng mô hình.
Token không luôn là một từ
Câu có dấu câu, từ ghép và ký tự đặc biệt được chia theo bộ tách token (tokenizer) của mô hình. Hai mô hình có thể tách cùng đoạn khác nhau. Tiếng Việt cũng không nên áp máy móc tỷ lệ tiếng Anh. Muốn số chính xác cho API, dùng công cụ đếm của đúng nhà cung cấp và mô hình. Với người dùng chat, hiểu nguyên lý quan trọng hơn đếm từng token. Nội dung càng dài càng chiếm không gian xử lý và có thể chạm hạn mức sản phẩm.
Token đầu vào và đầu ra
Đầu vào gồm prompt, dữ liệu, hướng dẫn hệ thống và phần lịch sử được đưa vào lần xử lý. Đầu ra là nội dung mô hình sinh. Trong API, giá hoặc giới hạn có thể phân biệt hai loại; trong ứng dụng, người dùng thường thấy hạn mức thông điệp hoặc tính năng thay vì hóa đơn token trực tiếp. Không suy từ bảng giá API sang gói chat. Khi cần chi phí, xem trang chính thức trong ngày dùng.
Cửa sổ ngữ cảnh
Cửa sổ ngữ cảnh là số token tối đa mô hình xử lý trong một lần, tính cả chỉ dẫn, dữ liệu, lịch sử trò chuyện và phần trả lời mô hình đang viết (theo tài liệu Anthropic, đọc ngày 11/11/2026). Nó không giống trí nhớ con người và không có nghĩa mọi chi tiết đều được dùng tốt như nhau. Khi trò chuyện hoặc tệp quá dài, hệ thống có thể cắt, tóm tắt hoặc chú ý kém tới phần quan trọng. Con số cụ thể thay đổi theo mô hình và sản phẩm; kiểm tài liệu hiện tại, không dựa ảnh chụp cũ.
Vì sao AI có vẻ quên
Thông tin cũ có thể không còn trong ngữ cảnh, bị bản tóm tắt làm mất chi tiết hoặc bị hướng dẫn mới mâu thuẫn. Đôi khi người dùng nói “như trước” nhưng không chỉ phần nào. Đây không nhất thiết là lỗi trí nhớ vĩnh viễn; có thể là đầu vào hiện tại. Cách sửa là tạo bản tóm tắt chuẩn gồm mục tiêu, quyết định, dữ kiện và việc còn mở. Khi bắt đầu phiên mới, đưa bản này thay toàn bộ nhật ký.
Dài hơn không luôn tốt
Nhồi nhiều tài liệu làm tăng nhiễu và khiến yêu cầu khó thấy. Chọn đoạn liên quan, dùng tiêu đề rõ, đặt dữ liệu trong phần riêng và nói tài liệu nào có thẩm quyền nếu mâu thuẫn. Với nhiều tệp, yêu cầu lập mục lục và xác nhận đã đọc được trước khi phân tích. Nếu cần chính xác, làm từng bước và lưu kết quả trung gian đã kiểm. Một prompt khổng lồ khó sửa và khó biết lỗi từ đâu.
Chi phí và tốc độ
Trong nhiều API, lượng token ảnh hưởng chi phí và thời gian xử lý. Đầu ra dài thường mất thời gian hơn. Nhưng tối ưu không phải cắt mọi bối cảnh; thiếu dữ kiện tạo kết quả sai và tốn lượt sửa. Hãy giữ hướng dẫn và bằng chứng cần, bỏ lặp, yêu cầu đầu ra đúng độ dài, tái dùng phần ổn định khi nền tảng hỗ trợ. Giá và hạn mức thay đổi nên không ghi nhớ con số từ bài cũ.
Quản lý ngữ cảnh thực tế
Khi nhờ AI hỗ trợ dự án học, giữ một phiếu dự án ngắn: mục tiêu, trình độ, quy ước, nguồn chuẩn và trạng thái. Sau mỗi buổi cập nhật quyết định đã duyệt. Buổi sau, cung cấp phiếu và tài liệu đúng phần đang làm. Cách này tốt hơn dựa vào một cuộc chat vô hạn và giúp chuyển công cụ mà không mất quy trình. Hãy xóa dữ liệu nhạy cảm trước khi lưu mẫu.
Hiểu lầm phổ biến
Token không phải đồng tiền số trong ngữ cảnh này. Token không bằng chữ, tiếng hay từ theo tỷ lệ cố định. Cửa sổ lớn không bảo đảm đúng. Cuộc chat dài không bảo đảm nhớ mọi chi tiết. Rút ngắn prompt không tự động rẻ nếu phải hỏi lại nhiều lần. Hiểu giới hạn giúp cung cấp đúng thông tin, tổ chức tài liệu và kiểm đầu ra thay vì tranh luận với AI về việc nó “đã từng biết”.
Thực hành quản lý ngữ cảnh
Lấy một ghi chú công khai dài khoảng hai trang. Tạo bản tóm tắt dự án chỉ gồm mục tiêu, năm dữ kiện, ba quyết định và hai câu hỏi mở. Mở cuộc trò chuyện mới, cung cấp bản tóm tắt thay vì toàn bộ lịch sử, rồi yêu cầu AI nhắc lại điều nó đang dựa vào. So với phiên có nguyên văn để xem chi tiết nào mất và chi tiết nào thật sự cần.
Tiếp theo, thêm một chỉ dẫn mâu thuẫn có chủ ý, chẳng hạn đầu đoạn yêu cầu bảng còn cuối đoạn yêu cầu văn xuôi. Quan sát kết quả và sửa bằng cách gom chỉ dẫn còn hiệu lực vào một khối rõ. Bỏ đoạn lặp, đặt tài liệu chuẩn lên trước và yêu cầu đánh dấu chỗ thiếu. Mục tiêu không phải ép prompt ngắn nhất mà tạo ngữ cảnh đủ, sạch và có thứ tự ưu tiên.
Nếu dùng API, thử công cụ đếm của đúng nhà cung cấp với vài câu tiếng Việt và tiếng Anh; đừng suy một tỷ lệ thành quy luật. Nếu chỉ dùng ứng dụng chat, ghi nhận dấu hiệu thực tế như tệp bị bỏ sót hoặc lịch sử quá dài. Khi dự án kéo dài, duy trì phiếu trạng thái đã kiểm thay vì tin rằng mọi chi tiết cũ luôn còn trong cửa sổ.
Khi nào nên mở cuộc trò chuyện mới
Mở phiên mới khi mục tiêu đã đổi, chỉ dẫn cũ mâu thuẫn, lịch sử có nhiều thử nghiệm bỏ đi hoặc bạn không thể nói rõ phần nào còn hiệu lực. Trước khi chuyển, tạo bản bàn giao ngắn và tự kiểm: mục tiêu, dữ kiện chuẩn, quyết định, thuật ngữ, việc tiếp theo. Không chép toàn bộ chat vì điều đó mang cả nhiễu và dữ liệu không cần sang ngữ cảnh mới.
Nếu cần giữ nguồn, lưu liên kết và vị trí thay vì chỉ lưu bản AI tóm tắt. Nếu dự án có nhiều người, dùng tài liệu trạng thái chung đã duyệt thay cho trí nhớ của một cuộc hội thoại cá nhân. Cách làm này vừa quản lý token, vừa tạo khả năng truy nguyên và giúp nhóm đổi sản phẩm mà không phải bắt đầu lại từ đầu.
Học tiếp
- AI tạo sinh (Generative AI) là gì? Giải thích dễ hiểu cho người mới
- Prompt là gì? 10 nguyên tắc viết prompt hiệu quả
- Vì sao AI "bịa" thông tin và cách kiểm lại câu trả lời
Khóa AI – Introduction to Machine Learning: nền tảng Máy học từ thuật toán cơ bản đến Neural Networks và LLM, học bằng Python. Học thử buổi 1 miễn phí.
