- Ở mỗi bước, mô hình cho mỗi token một điểm, đổi điểm thành xác suất, rồi bốc một token theo xác suất đó. Vì có bước bốc ngẫu nhiên nên cùng câu hỏi có thể ra câu trả lời khác nhau.
- Temperature chia điểm trước khi đổi sang xác suất: thấp thì phân phối nhọn, gần như luôn chọn từ chắc nhất; cao thì phân phối phẳng, câu trả lời đa dạng hơn.
- Top-k giữ k token đầu; top-p giữ nhóm token nhỏ nhất có tổng xác suất đạt p, nên số token được giữ tự co giãn.
- Trên API Claude, các mô hình từ Claude 4.7 trở đi chỉ nhận giá trị mặc định, và phiên bản API 2026-10-21 bỏ hẳn ba tham số này. Muốn kết quả ổn định, hãy dùng câu lệnh rõ, khuôn JSON và bước soát.
Bài dùng Python thuần. Phần về API Claude dựa trên trang API versioning, hướng dẫn chuyển sang phiên bản 2026-10-21 và hướng dẫn chuyển sang Claude Opus 5.5, đọc ngày 11/11/2026. Phần lý thuyết dựa trên bài báo về top-p của Holtzman và cộng sự và trang Generation strategies của Hugging Face.
Mô hình chọn từ kế tiếp thế nào
Một mô hình ngôn ngữ sinh văn bản từng token một. Như bài tokenizer là gì đã giải thích, token là những mảnh chữ có trong bảng từ vựng của mô hình. Ở mỗi bước, mô hình đọc toàn bộ phần đã có rồi cho mỗi token trong bảng một điểm thô, gọi là logit. Điểm càng cao thì token đó càng hợp để đứng tiếp theo. Hàm softmax đổi các điểm này thành xác suất, cộng lại bằng một.
Có hai cách dùng xác suất. Cách tham lam luôn lấy token có xác suất cao nhất; trang Generation strategies của Hugging Face gọi đó là greedy search và ghi rằng đây là cách giải mã mặc định của thư viện Transformers, hợp với câu trả lời ngắn không cần sáng tạo. Cách lấy mẫu thì bốc ngẫu nhiên theo xác suất, nên token ít chắc chắn hơn vẫn có cơ hội được chọn. Các trợ lý trò chuyện thường lấy mẫu, vì cách tham lam dễ sinh ra văn lặp lại và nhạt.
Temperature làm gì
Temperature là một số dương mà ta chia tất cả điểm thô cho nó trước khi đưa vào softmax. Chia cho số nhỏ hơn một làm khoảng cách giữa các điểm giãn ra, nên token mạnh càng mạnh, phân phối trở nên nhọn. Chia cho số lớn hơn một làm khoảng cách co lại, các token gần nhau hơn, phân phối phẳng ra. Temperature bằng không là trường hợp giới hạn: luôn chọn token điểm cao nhất, tức quay về cách tham lam.
Cách nói quen thuộc "temperature thấp thì chính xác, cao thì sáng tạo" chỉ đúng một nửa. Temperature thấp làm câu trả lời ít bất ngờ, không làm mô hình biết thêm điều gì. Nếu điều mô hình tin nhất là sai, temperature thấp chỉ làm nó sai một cách nhất quán hơn.
Top-k và top-p
Ngay cả khi phân phối khá nhọn, phần đuôi gồm hàng chục nghìn token ít khả năng vẫn cộng lại thành một xác suất đáng kể, và thỉnh thoảng mô hình bốc trúng một token vô lý. Top-k cắt đuôi bằng cách chỉ giữ k token có xác suất cao nhất rồi chia lại cho đủ một. Nhược điểm là k cố định: có chỗ chỉ một hai từ hợp lý, có chỗ hàng chục từ đều được.
Top-p, còn gọi là nucleus sampling, do Holtzman và cộng sự đề xuất năm 2019, giải quyết điểm đó. Thay vì giữ số token cố định, nó giữ nhóm token nhỏ nhất mà tổng xác suất đạt ngưỡng p. Khi mô hình chắc chắn, nhóm này nhỏ; khi mô hình phân vân, nhóm này lớn. Bài báo của họ cho thấy cách này tránh được cả văn lặp lại của cách tham lam lẫn câu vô nghĩa khi bốc từ toàn bộ phân phối.
Ví dụ bằng Python
Chương trình mẫu dùng sáu từ có thể đứng sau "Hôm nay trời" với điểm thô do bài tự đặt, không lấy từ mô hình thật. Hàm xac_suat tính softmax có temperature. Hàm loc_top_k và loc_top_p cắt đuôi. Hàm boc lấy mẫu 1000 lần với hạt giống cố định để đếm tần suất.
"""Temperature, top-k, top-p: mô hình chọn token kế tiếp thế nào. Chỉ dùng thư viện chuẩn.
DIEM là điểm thô (logit) GIẢ ĐỊNH cho từ đứng sau "Hôm nay trời", do bài tự đặt, không lấy từ mô hình thật.
- xac_suat(diem, nhiet): softmax sau khi chia điểm cho temperature; nhiet = 0 nghĩa là luôn chọn từ điểm cao nhất.
- loc_top_k, loc_top_p: chỉ giữ k từ đầu, hoặc nhóm từ nhỏ nhất có tổng xác suất đạt p (nucleus sampling).
- boc: bốc ngẫu nhiên nhiều lần với hạt giống cố định để đếm tần suất.
"""
import math
import random
DIEM = {"đẹp": 3.0, "nắng": 2.5, "mưa": 2.0, "lạnh": 1.0, "buồn": 0.0, "xanh": -1.0}
def xac_suat(diem, nhiet=1.0):
if nhiet == 0:
cao = max(diem, key=diem.get)
return {t: (1.0 if t == cao else 0.0) for t in diem}
m = max(diem.values())
mu = {t: math.exp((d - m) / nhiet) for t, d in diem.items()}
tong = sum(mu.values())
return {t: v / tong for t, v in mu.items()}
def _chuan_hoa(p):
tong = sum(p.values())
return {t: v / tong for t, v in p.items()}
def loc_top_k(p, k):
giu = sorted(p, key=p.get, reverse=True)[:k]
return _chuan_hoa({t: p[t] for t in giu})
def loc_top_p(p, nguong):
giu, cong = [], 0.0
for t in sorted(p, key=p.get, reverse=True):
giu.append(t)
cong += p[t]
if cong >= nguong:
break
return _chuan_hoa({t: p[t] for t in giu})
def boc(p, so_lan, hat_giong=7):
r = random.Random(hat_giong)
tu, trong_so = list(p), list(p.values())
dem = {t: 0 for t in p}
for t in r.choices(tu, weights=trong_so, k=so_lan):
dem[t] += 1
return dem
def _in(p):
return ", ".join(f"{t} {v:.2f}" for t, v in sorted(p.items(), key=lambda x: -x[1]) if v > 0.005)
def chay_thu():
dong = []
for nhiet in [0, 0.5, 1.0, 1.5]:
dong.append(f"temperature {nhiet}: {_in(xac_suat(DIEM, nhiet))}")
p = xac_suat(DIEM, 1.0)
dong.append(f"top_k 4: {_in(loc_top_k(p, 4))}")
dong.append(f"top_p 0.7 ở temperature 1.0: {_in(loc_top_p(p, 0.7))}")
dong.append(f"top_p 0.7 ở temperature 1.5: {_in(loc_top_p(xac_suat(DIEM, 1.5), 0.7))}")
for nhiet in [0.5, 1.5]:
d = boc(xac_suat(DIEM, nhiet), 1000)
dong.append(f"Bốc 1000 lần ở temperature {nhiet}: 'đẹp' {d['đẹp']} lần, số từ khác nhau {sum(1 for v in d.values() if v)}")
print("\n".join(dong))
return dong
if __name__ == "__main__":
chay_thu()
Ở temperature 0, "đẹp" có xác suất tuyệt đối. Ở 0,5, "đẹp" chiếm 66%, "nắng" 24%, "mưa" 9%, còn "buồn" và "xanh" gần như biến mất. Ở 1,0, "đẹp" còn 46% và cả sáu từ đều có mặt. Ở 1,5, "đẹp" chỉ còn 37%. Top-k với k bằng 4 bỏ hai từ cuối. Top-p 0,7 ở temperature 1,0 giữ đúng hai từ "đẹp" và "nắng", còn ở temperature 1,5 phân phối phẳng hơn nên phải giữ ba từ mới đạt ngưỡng: số từ được giữ tự co giãn đúng như ý tưởng của top-p. Khi bốc 1000 lần, "đẹp" ra 676 lần ở temperature 0,5 và 404 lần ở 1,5.
Trên API Claude hiện nay
Đây là phần nhiều bài viết cũ chưa cập nhật. Trang API versioning của Claude ghi rằng ở phiên bản API 2026-10-21, ba tham số temperature, top_p và top_k bị bỏ, và gửi bất kỳ tham số nào trong ba tham số đó đều bị lỗi 400 trên mọi mô hình. Hướng dẫn chuyển phiên bản nói thêm: các mô hình từ Claude 4.7 trở đi vốn chỉ nhận giá trị mặc định, nên bỏ tham số không làm thay đổi cách chúng trả lời; còn với mô hình cũ hơn như Claude Sonnet 4.6, một lệnh gọi từng hạ temperature để có kết quả ổn định sẽ mất tác dụng đó, và không có tham số nào thay thế.
Hướng dẫn chuyển sang Claude Opus 5.5 khuyên bỏ ba tham số này và dùng câu lệnh để định hướng cách trả lời. Tài liệu cũng lưu ý một điều đáng nhớ: đặt temperature bằng 0 trên các mô hình trước đây chưa bao giờ đảm bảo hai lần gọi cho kết quả giống hệt nhau. Nếu bạn đọc một bài hướng dẫn cũ dặn "đặt temperature 0 để có kết quả cố định", hãy hiểu rằng lời dặn đó vừa không còn áp dụng được trên Claude mới, vừa chưa bao giờ đúng tuyệt đối.
Với các mô hình mở chạy bằng thư viện Transformers hay các dịch vụ khác, bạn vẫn có thể gặp temperature, top-k, top-p. Hiểu cơ chế như trên giúp bạn đọc đúng tài liệu của từng nơi.
Muốn câu trả lời ổn định thì làm gì
Mục tiêu thật thường không phải là "hai lần gọi giống hệt nhau" mà là "lần nào cũng đúng yêu cầu". Có bốn cách hiệu quả hơn việc chỉnh độ ngẫu nhiên. Một, viết câu lệnh rõ: nói cụ thể định dạng, độ dài, giọng văn, và cho một hai ví dụ mẫu. Hai, khi cần dữ liệu có cấu trúc, dùng khuôn JSON như bài AI trả về JSON trình bày, để câu trả lời luôn đúng hình dạng. Ba, thêm bước soát bằng code: kiểm khoảng giá trị, kiểm nhãn có nằm trong danh sách cho phép. Bốn, nếu cần dùng lại đúng một câu trả lời, hãy lưu nó lại thay vì gọi lại mô hình.
Để biết một ứng dụng có ổn định không, đừng chỉ thử một lần. Chạy cùng bộ câu hỏi vài lần và đo tỷ lệ đạt yêu cầu, như bài đánh giá câu trả lời AI hướng dẫn. Kết quả đo cho bạn biết cần sửa câu lệnh hay cần thêm bước soát, điều mà việc vặn một con số không cho biết được.
- Gửi temperature, top_p hoặc top_k tới các mô hình Claude mới theo thói quen từ bài hướng dẫn cũ.
- Tin rằng temperature 0 cho kết quả giống hệt nhau mọi lần.
- Nghĩ rằng temperature thấp làm mô hình trả lời đúng hơn.
- Chỉnh cả temperature lẫn top-p cùng lúc rồi không biết thay đổi nào có tác dụng.
- Đánh giá độ ổn định chỉ bằng một lần chạy.
Câu hỏi thường gặp
Temperature bằng 1 có nghĩa là gì?
Điểm thô giữ nguyên, mô hình bốc theo đúng phân phối nó tính ra. Đây là mặc định ở nhiều API.
Gửi temperature tới Claude mới thì sao?
Theo tài liệu, các mô hình từ Claude 4.7 chỉ nhận giá trị mặc định, và phiên bản API 2026-10-21 trả lỗi 400 với cả ba tham số.
Top-p và top-k nên dùng cái nào?
Ở nơi còn hỗ trợ, top-p thường linh hoạt hơn vì số token được giữ tự co giãn. Nên chỉnh một tham số mỗi lần.
Có cách nào bắt mô hình trả lời giống hệt mọi lần không?
Không có cách đảm bảo. Nếu cần một kết quả cố định, hãy lưu kết quả lại để dùng lại.
Học tiếp
- Mô hình cắt chữ thành token ra sao: tokenizer là gì.
- Bắt câu trả lời theo đúng khuôn: AI trả về JSON.
- Đo xem ứng dụng có trả lời ổn định không: đánh giá câu trả lời AI.
Nếu bạn muốn học Python và AI bài bản cùng giảng viên, tham khảo khóa học AI của Big-O Coding.
Khóa AI – Introduction to Machine Learning: nền tảng Máy học từ thuật toán cơ bản đến Neural Networks và LLM, học bằng Python. Học thử buổi 1 miễn phí.
Nguồn tham khảo
- Claude Docs: API versioning, phiên bản 2026-10-21 (đọc 11/11/2026)
- Claude Docs: Migrating to API version 2026-10-21, mục Sampling parameters
- Claude Docs: Claude Opus 5.5 migration guide
- Holtzman và cộng sự (2019): The Curious Case of Neural Text Degeneration (top-p)
- Hugging Face Transformers: Generation strategies


