- Mỗi lượt gửi lại cả lịch sử, nên chi phí mỗi câu hỏi tăng dần theo độ dài hội thoại, dù cửa sổ ngữ cảnh còn rộng.
- Cách đơn giản nhất là cắt bớt lượt cũ; cách giữ được ý là tóm tắt phần cũ và giữ nguyên vài lượt gần nhất.
- API của Anthropic có tính năng nén phía máy chủ (compaction, đang beta): mô hình tự viết bản tóm tắt thay cho các lượt cũ.
- Điều cần nhớ lâu dài (tên, mục tiêu, sở thích người học) nên lưu riêng, đưa vào chỉ dẫn mỗi lượt, không phụ thuộc lịch sử.
Bài này dựa trên trang Context windows và Compaction overview trong tài liệu của Anthropic, đọc ngày 11/11/2026.
Vì sao hội thoại dài là vấn đề
API không giữ trạng thái giữa các lần gọi. Ứng dụng chat của bạn phải gửi lại mọi tin trước đó để mô hình hiểu ngữ cảnh. Hội thoại 30 lượt nghĩa là câu hỏi thứ 30 gửi kèm 29 lượt trước. Số token đầu vào, và tiền, tăng theo từng lượt.
Theo trang Context windows, nhiều mô hình Claude hiện nay có cửa sổ ngữ cảnh 1 triệu token và mỗi yêu cầu sinh tối đa 128 nghìn token đầu ra. Nghe thì rộng, nhưng có ba lý do vẫn nên quản lý: chi phí tăng tuyến tính theo độ dài; với Haiku 5.5, prompt trên 100.000 token có giá cao hơn; và trang Compaction overview ghi rằng chất lượng câu trả lời giảm khi ngữ cảnh dài ra, nên giữ ngữ cảnh đang dùng gọn là có lợi.
Khi vượt cửa sổ, tài liệu mô tả hai trường hợp: nếu riêng phần đầu vào đã vượt, API trả lỗi 400 báo prompt quá dài; nếu đầu vào vừa nhưng câu trả lời chạm giới hạn trong lúc sinh, mô hình dừng với lý do dừng là vượt cửa sổ ngữ cảnh.
Ba cách giữ hội thoại gọn
Cắt bớt. Chỉ giữ N lượt gần nhất. Đơn giản, rẻ, nhưng mất hẳn thông tin cũ: người học nói tên mình ở đầu buổi, 20 lượt sau mô hình không còn biết.
Tóm tắt phần cũ, giữ nguyên phần mới. Khi lịch sử vượt ngân sách, tóm tắt các lượt cũ thành vài gạch đầu dòng, đặt vào chỉ dẫn hệ thống, và giữ nguyên vài lượt gần nhất. Mô hình vẫn biết bối cảnh chung và nhìn rõ những gì vừa nói. Đây là cách chương trình mẫu trong bài làm.
Nén phía máy chủ. Trang Compaction overview mô tả tính năng nén: mô hình viết bản tóm tắt thay cho các lượt cũ ngay trên máy chủ, bạn không cần viết code tóm tắt. Có hai kiểu: nén theo yêu cầu (bạn quyết định khi nào, có thể giữ nguyên các lượt gần nhất, có thể chạy nền) và nén khi vượt một ngưỡng token. Tài liệu khuyên dùng nén theo yêu cầu nếu có. Tính năng này đang ở dạng beta, cần tiêu đề beta và chỉ có trên một số mô hình, nên đọc trang tài liệu trước khi dùng.
Ví dụ bằng Python
Hàm nen nhận chỉ dẫn hệ thống, danh sách tin, một hàm đếm và một hàm tóm tắt. Nếu tổng còn trong ngân sách, giữ nguyên. Nếu vượt, nó giữ nguyên vài lượt hỏi đáp gần nhất (bảo đảm bắt đầu bằng tin của người dùng, vì API yêu cầu vậy), tóm tắt phần còn lại, và đặt bản tóm tắt trong một thẻ ở cuối chỉ dẫn hệ thống. Từ lần nén thứ hai, bản tóm tắt cũ trong thẻ được đưa vào cùng các tin cũ để gộp thành bản mới, nên điều đã ghi ở lần nén đầu, như tên người học, không mất ở lần sau. Hàm tóm tắt thật gọi mô hình nhỏ với lời dặn ghi lại người học là ai, đã hỏi gì, đã thống nhất gì, còn dở việc gì, giữ nguyên tên riêng và số liệu. Mô hình nhỏ này (Haiku 5.5) mặc định suy nghĩ trước khi viết và phần suy nghĩ tính vào giới hạn token đầu ra, nên lời gọi để giới hạn rộng và đặt mức effort thấp. Nếu bản tóm tắt bị cắt, bị từ chối hay trống, hàm không nén mà giữ nguyên lịch sử, vì bỏ các lượt cũ khi chưa có bản tóm tắt là mất hẳn thông tin.
"""Giữ hội thoại dài trong ngân sách token: giữ nguyên vài lượt gần nhất, tóm tắt phần cũ, đưa bản tóm tắt vào chỉ dẫn hệ thống.
Cách làm phía ứng dụng, chạy với mọi mô hình. API của Anthropic còn có tính năng nén phía máy chủ (compaction, đang beta)
làm việc tương tự mà không cần tự viết code tóm tắt; xem tài liệu trước khi dùng.
- dem: hàm đếm token (khi chạy thật dùng endpoint đếm token; khi chạy thử dùng dem_gia theo số ký tự, không phải token thật).
- tom_tat: hàm nhận danh sách tin cũ và bản tóm tắt của lần nén trước (chuỗi rỗng nếu chưa có), trả về một đoạn tóm tắt
gộp cả hai (khi chạy thật là một lần gọi mô hình), hoặc None nếu không tóm tắt được: khi đó lịch sử được giữ nguyên.
"""
HE_THONG_GOC = "Bạn là trợ giảng Python, trả lời ngắn gọn bằng tiếng Việt."
MO_THE, DONG_THE = "\n\n<tom_tat_phan_truoc>\n", "\n</tom_tat_phan_truoc>"
def dem_gia(he_thong, tin_nhan):
return (len(he_thong) + sum(len(t["content"]) for t in tin_nhan)) // 4
def tach_tom_tat(he_thong):
"""Tách chỉ dẫn hệ thống thành phần gốc và bản tóm tắt của lần nén trước (chuỗi rỗng nếu chưa nén lần nào)."""
goc, co_the, sau = he_thong.partition(MO_THE)
return (goc, sau.rsplit(DONG_THE, 1)[0]) if co_the else (he_thong, "")
def nen(he_thong, tin_nhan, dem, tom_tat, ngan_sach=2000, giu_luot=4):
"""Nếu vượt ngân sách: tóm tắt các tin cũ, giữ nguyên `giu_luot` lượt hỏi đáp gần nhất (bắt đầu bằng tin người dùng).
Bản tóm tắt của lần nén trước (nằm trong `he_thong`) được đưa vào cùng các tin cũ để gộp thành bản mới, nên điều
đã ghi ở lần nén đầu, như tên người học, không mất ở lần nén sau."""
if dem(he_thong, tin_nhan) <= ngan_sach:
return he_thong, tin_nhan, False
giu = tin_nhan[-2 * giu_luot:]
while giu and giu[0]["role"] != "user":
giu = giu[1:]
cu = tin_nhan[:len(tin_nhan) - len(giu)]
goc, tom_tat_truoc = tach_tom_tat(he_thong)
ban_tom_tat = tom_tat(cu, tom_tat_truoc)
if ban_tom_tat is None: # không tóm tắt được (bị cắt, bị từ chối): giữ nguyên lịch sử, không bỏ tin cũ nào
return he_thong, tin_nhan, False
return f"{goc}{MO_THE}{ban_tom_tat}{DONG_THE}", giu, True
def tom_tat_gia(tin_cu, tom_tat_truoc=""):
"""Giả lập: giữ bản tóm tắt cũ, thêm câu hỏi của người dùng rút gọn còn 40 ký tự. KHÔNG phải tóm tắt thật."""
return "\n".join(([tom_tat_truoc] if tom_tat_truoc else []) +
["- Đã hỏi: " + t["content"][:40] for t in tin_cu if t["role"] == "user"])
def tom_tat_bang_claude(client, mo_hinh="claude-haiku-5-5"):
def tom_tat(tin_cu, tom_tat_truoc=""):
van_ban = "\n".join(f"{t['role']}: {t['content']}" for t in tin_cu)
truoc = f"<tom_tat_phan_truoc>\n{tom_tat_truoc}\n</tom_tat_phan_truoc>\n\n" if tom_tat_truoc else ""
viec = "Gộp bản tóm tắt phần trước và hội thoại trên" if tom_tat_truoc else "Tóm tắt hội thoại trên"
# Haiku 5.5 bật suy nghĩ sẵn và token suy nghĩ tính vào max_tokens, nên giới hạn nhỏ có thể hết ngay trong phần
# suy nghĩ: để giới hạn rộng, effort thấp là đủ cho việc tóm tắt.
tl = client.messages.create(model=mo_hinh, max_tokens=8000, output_config={"effort": "low"},
messages=[{"role": "user", "content":
f"{truoc}<hoi_thoai>\n{van_ban}\n</hoi_thoai>\n\n{viec} trong tối đa 8 gạch đầu dòng: "
"người học là ai, đã hỏi gì, đã thống nhất gì, còn dở việc gì. Giữ nguyên tên riêng, số liệu, đoạn code ngắn quan trọng."}])
chu = "".join(k.text for k in tl.content if k.type == "text")
# Bị cắt ("max_tokens"), bị từ chối ("refusal") hay không có chữ: trả None để nen giữ nguyên các lượt cũ.
return chu if tl.stop_reason == "end_turn" and chu.strip() else None
return tom_tat
def tao_hoi_thoai(so_luot):
tin = []
for i in range(1, so_luot + 1):
tin.append({"role": "user", "content": f"Câu hỏi {i}: giải thích giúp em lỗi số {i} trong bài tập vòng lặp " + "chi tiết " * 20})
tin.append({"role": "assistant", "content": f"Trả lời {i}: " + "giải thích dài " * 40})
return tin
def chay_thu():
dong = []
for so_luot in (3, 30):
tin = tao_hoi_thoai(so_luot)
truoc = dem_gia(HE_THONG_GOC, tin)
ht, con, da_nen = nen(HE_THONG_GOC, tin, dem_gia, tom_tat_gia)
dong.append(f"{so_luot} lượt: {truoc} token (đếm giả) -> {dem_gia(ht, con)}; "
f"{'đã nén' if da_nen else 'chưa cần nén'}; giữ nguyên {len(con)} tin, tin đầu là {con[0]['role']}")
print("\n".join(dong))
return dong
if __name__ == "__main__":
chay_thu()
Phần chạy thử dùng hàm đếm giả theo số ký tự và hàm tóm tắt giả, không phải tóm tắt thật, chỉ để thấy cơ chế. Hội thoại 3 lượt khoảng 654 token theo cách đếm giả, dưới ngân sách 2.000 nên giữ nguyên. Hội thoại 30 lượt khoảng 6.427, vượt ngân sách: sau khi nén còn khoảng 1.213, giữ nguyên 8 tin cuối (4 lượt hỏi đáp), tin đầu là của người dùng.
Đặt bản tóm tắt trong chỉ dẫn hệ thống thay vì chèn thành một tin nhắn giúp lịch sử vẫn xen kẽ đúng người dùng và trợ lý. Nếu dùng cache cho chỉ dẫn hệ thống, nhớ rằng mỗi lần bản tóm tắt đổi, phần cache phía sau bị mất; nén theo từng đợt lớn thay vì mỗi lượt để cache phát huy tác dụng (xem bài prompt caching).
Nhớ lâu dài khác với lịch sử
Có những thông tin cần giữ qua nhiều buổi, không chỉ trong một hội thoại: tên người học, lớp, mục tiêu, các lỗi hay mắc. Đừng mong chúng sống sót qua nhiều lần tóm tắt. Lưu riêng thành một hồ sơ ngắn trong cơ sở dữ liệu của bạn, cập nhật khi người học cho biết thêm, và đưa vào chỉ dẫn hệ thống ở mỗi lượt. Hồ sơ này nhỏ, rõ ràng, người học xem và sửa được, và không phụ thuộc vào việc mô hình tóm tắt có giữ lại hay không.
Với thông tin cá nhân, chỉ lưu những gì cần cho việc học, nói rõ với người dùng bạn lưu gì, và cho họ xóa.
Một buổi học mẫu
Thử hình dung một buổi trợ giảng 90 phút. Đầu buổi, học sinh nói đang học lớp 10, chuẩn bị thi chuyên Tin, yếu phần đệ quy. Giữa buổi, hai bên làm bốn bài tập, mỗi bài vài lượt hỏi đáp kèm code. Cuối buổi, học sinh hỏi lại một lỗi đã gặp ở bài thứ hai.
Nếu chỉ cắt bớt lượt cũ, tới cuối buổi mô hình đã quên học sinh yếu phần nào và quên bài thứ hai có lỗi gì, nên giải thích lại từ đầu. Nếu tóm tắt phần cũ, bản tóm tắt tốt sẽ ghi: học sinh lớp 10, ôn thi chuyên Tin, yếu đệ quy; bài 2 sai điều kiện dừng khi danh sách rỗng, đã sửa bằng cách kiểm độ dài trước. Mô hình đọc dòng đó là trả lời đúng trọng tâm. Còn thông tin "lớp 10, ôn thi chuyên, yếu đệ quy" nên vào hồ sơ nhớ lâu dài, để buổi sau mô hình biết ngay từ câu đầu.
Ví dụ này cũng cho thấy cách viết lời dặn tóm tắt: nói rõ những loại thông tin cần giữ (lỗi đã gặp, cách đã sửa, điều đã thống nhất), thay vì chỉ "tóm tắt hội thoại". Lời dặn chung chung cho bản tóm tắt chung chung, còn lời dặn cụ thể cho bản tóm tắt dùng được ngay.
Chọn cách nào
Chatbot trả lời nhanh từng câu độc lập: cắt bớt là đủ. Trợ giảng theo một buổi học dài: tóm tắt phần cũ, giữ phần mới. Agent làm việc nhiều giờ với nhiều lần gọi công cụ: cân nhắc nén phía máy chủ và các tính năng dọn kết quả công cụ cũ mà tài liệu giới thiệu. Ứng dụng nhiều buổi với cùng người dùng: thêm hồ sơ nhớ lâu dài. Dù chọn cách nào, đếm token như trong bài đếm token trước khi gọi API để biết khi nào cần nén.
- Gửi lại toàn bộ lịch sử mãi mãi, chi phí mỗi câu hỏi tăng không ngừng.
- Cắt lịch sử khiến tin đầu tiên là của trợ lý, API báo lỗi.
- Tóm tắt làm mất tên riêng, số liệu, đoạn code mà lượt sau cần.
- Tóm tắt lại mỗi lượt, vừa tốn vừa làm mất cache.
- Lưu thông tin cá nhân của người học mà không nói rõ.
Câu hỏi thường gặp
Cửa sổ 1 triệu token thì có cần nén không?
Không bắt buộc về giới hạn, nhưng mỗi lượt vẫn trả tiền cho cả lịch sử, và tài liệu ghi chất lượng giảm khi ngữ cảnh dài. Nén vẫn có lợi.
Tóm tắt bằng mô hình nào?
Mô hình nhỏ, rẻ thường đủ cho việc tóm tắt hội thoại. Kiểm bản tóm tắt có giữ đúng thông tin quan trọng không.
Khi nào nên nén?
Khi tổng token vượt một ngưỡng bạn đặt, ví dụ một phần nhỏ của cửa sổ ngữ cảnh, tùy chi phí bạn chấp nhận.
Người dùng có thấy bản tóm tắt không?
Nên cho xem nếu là ứng dụng học tập: người học biết mô hình đang "nhớ" gì và sửa nếu sai.
Học tiếp
- Biết khi nào cần nén: đếm token trước khi gọi API.
- Giảm tiền cho phần lặp lại: prompt caching.
- Kỹ thuật tóm tắt văn bản dài: tóm tắt văn bản dài.
Nếu bạn muốn học Python và AI bài bản cùng giảng viên, tham khảo khóa học AI của Big-O Coding.
Khóa AI – Introduction to Machine Learning: nền tảng Máy học từ thuật toán cơ bản đến Neural Networks và LLM, học bằng Python. Học thử buổi 1 miễn phí.


