AI & Machine Learning

Mã hóa vị trí trong transformer: từ hình sin tới RoPE

Mã hóa vị trí (positional encoding) là cách đưa thứ tự của token vào transformer, vì lớp chú ý tự nó không biết token nào đứng trước. Bài báo transformer gốc cộng vectơ hình sin vào đầu vào; các họ mô hình như LLaMA dùng RoPE, xoay truy vấn và khóa theo vị trí để điểm chú ý chỉ phụ thuộc khoảng cách. Bài này đọc bốn bài báo gốc và kiểm từng tính chất bằng numpy, tới cách YaRN kéo dài ngữ cảnh.

Ý chính
  • Lớp chú ý coi đầu vào như một tập hợp: đổi chỗ hai token thì đầu ra chỉ đổi chỗ theo. Mã hóa vị trí đưa thứ tự vào mô hình.
  • Bài báo gốc cộng vectơ hình sin vào bảng nhúng. RoPE xoay truy vấn và khóa một góc tỉ lệ với vị trí, nên điểm chú ý chỉ phụ thuộc khoảng cách.
  • ALiBi bỏ hẳn vectơ vị trí, trừ vào điểm chú ý một lượng tỉ lệ với khoảng cách. Mô hình huấn luyện ở 1024 token chạy tốt ở 2048 token.
  • Mô hình dùng RoPE kéo dài ngữ cảnh bằng nội suy vị trí hoặc YaRN, thường kèm một ít huấn luyện thêm.

Code trong bài là Python 3 với numpy. Bài giả định bạn đã biết lớp chú ý tính điểm giữa truy vấn và khóa thế nào; phần đó có trong bài kiến trúc transformer. Số liệu lấy từ bản PDF của các bài báo, đọc ngày 12/11/2026.

Vì sao transformer cần mã hóa vị trí

Lớp chú ý tính điểm cho mọi cặp truy vấn, khóa bằng tích vô hướng, rồi lấy tổng có trọng số các giá trị. Không có phép tính nào nhìn vào chỉ số của token. Nếu bạn đổi chỗ hai token trong câu, mỗi token vẫn nhận đúng tập điểm như cũ, chỉ là ở vị trí khác: đầu ra đổi chỗ theo đầu vào. Với lớp chú ý thuần, "chó cắn người" và "người cắn chó" là cùng một túi từ.

RNN đọc tuần tự nên tự biết thứ tự; CNN biết hàng xóm gần. Transformer bỏ cả hai, nên Vaswani và cộng sự viết rằng phải "tiêm" thông tin vị trí tương đối hoặc tuyệt đối vào chuỗi. Có hai hướng: thêm thông tin vị trí vào biểu diễn của token, hoặc sửa thẳng điểm chú ý theo khoảng cách. Hình sin và RoPE thuộc hướng đầu, ALiBi thuộc hướng sau.

Mã hóa hình sin của bài báo gốc

Bài báo năm 2017 cộng vào bảng nhúng ở vị trí pos một vectơ cùng số chiều d với bảng nhúng (\(d_{\text{model}}\) trong bài báo), mỗi chiều là một sóng sin hay cos:

\[\begin{aligned} PE_{(pos,\,2i)} &= \sin\big(pos / 10000^{2i/d}\big) \\ PE_{(pos,\,2i+1)} &= \cos\big(pos / 10000^{2i/d}\big) \end{aligned}\]

Bước sóng tăng theo cấp số nhân từ \(2\pi\) tới \(10000 \cdot 2\pi\): các chiều đầu đổi nhanh như kim giây, các chiều cuối đổi chậm như kim giờ. Nhóm tác giả chọn hàm này vì với mọi độ lệch k cố định, \(PE_{pos+k}\) là một hàm tuyến tính của \(PE_{pos}\), đúng công thức cộng góc lượng giác, nên mô hình có thể học chú ý theo vị trí tương đối.

Bảng 3 của bài báo cho một kết quả đáng chú ý: thay hình sin bằng vectơ vị trí học được, perplexity vẫn là 4,92 và điểm BLEU 25,7 so với 25,8. Nhóm tác giả giữ hình sin vì hy vọng nó giúp mô hình dùng được chuỗi dài hơn lúc huấn luyện. Hy vọng đó về sau không thành: bài ALiBi đo được mô hình hình sin huấn luyện ở 512 token chỉ khá lên thêm khoảng 20 token rồi bắt đầu tệ đi sau khoảng 50 token vượt độ dài huấn luyện.

RoPE: xoay truy vấn và khóa

RoPE (Rotary Position Embedding) của Su và cộng sự không cộng gì vào bảng nhúng. Ở mỗi lớp chú ý, nó chia vectơ truy vấn và khóa thành từng cặp chiều, rồi xoay cặp thứ i một góc \(m\theta_i\), với m là vị trí và \(\theta_i = 10000^{-2(i-1)/d}\). Vì phép xoay góc a rồi lấy tích vô hướng với vectơ xoay góc b chỉ phụ thuộc hiệu a − b, điểm chú ý thành:

\[q_m^{\top} k_n = x_m^{\top} W_q \, R_{\Theta,\,n-m} \, W_k \, x_n\]

Vị trí tuyệt đối m và n biến mất, chỉ còn khoảng cách n − m. Ma trận xoay trực giao nên không làm vectơ dài ra hay ngắn đi. Bài báo còn chứng minh tính suy giảm theo khoảng cách: tích vô hướng có xu hướng nhỏ dần khi hai token cách xa, hợp với trực giác rằng từ gần nhau liên quan nhiều hơn.

RoPE: xoay q và k theo vị trí của chúng mỗi vị trí quay thêm θ = 0,3 rad; q và k ban đầu cùng hướng q k 3θ m = 5, n = 2 q k 3θ m = 105, n = 102 cả hai: q·k = cos 0,9 ≈ 0,62, chỉ phụ thuộc m − n = 3
RoPE: xoay q và k theo vị trí của chúng mỗi vị trí quay thêm θ = 0,3 rad q k 3θ m = 5, n = 2 q k 3θ m = 105, n = 102 cả hai: q·k = cos 0,9 ≈ 0,62 chỉ phụ thuộc m − n = 3
Hình 1. RoPE trên một cặp chiều với θ = 0,3 rad: ở vị trí (5, 2) và (105, 102), q và k quay những góc rất khác nhau nhưng góc giữa chúng luôn là 3θ, nên tích vô hướng đều bằng cos 0,9 ≈ 0,62.

Hình 1 cho thấy điều này với một cặp chiều. Ở vị trí (5, 2), q quay 1,5 rad và k quay 0,6 rad; ở (105, 102), cả hai quay thêm nhiều vòng. Góc giữa chúng vẫn là 3θ, và tích vô hướng vẫn là cos 0,9 ≈ 0,62. Theo bài báo RoFormer, mô hình đọc tới 1024 ký tự đạt độ chính xác cao hơn 1,5 điểm phần trăm so với WoBERT đọc 512 ký tự trên bộ CAIL2019-SCM.

ALiBi: trừ điểm theo khoảng cách

ALiBi (Attention with Linear Biases) của Press và cộng sự bỏ hẳn vectơ vị trí. Truy vấn thứ i chỉ cộng vào điểm chú ý một độ lệch cố định:

\[\begin{aligned} &\mathrm{softmax}\big(q_i K^{\top} + m \cdot b_i\big) \\ &b_i = [-(i-1), \dots, -2, -1, 0] \end{aligned}\]

Khóa càng xa thì bị trừ càng nhiều. Mỗi đầu chú ý có độ dốc m riêng, cố định từ trước chứ không học: với 8 đầu là 1/2, 1/4, ..., 1/256; với n đầu là cấp số nhân bắt đầu từ \(2^{-8/n}\). Đầu có độ dốc lớn chỉ nhìn gần, đầu có độ dốc nhỏ nhìn xa.

Kết quả chính của bài báo: mô hình 1,3 tỉ tham số huấn luyện ở 1024 token, chạy ở 2048 token, đạt cùng perplexity với mô hình hình sin huấn luyện thẳng ở 2048 token, trong khi huấn luyện nhanh hơn 11% và tốn ít hơn 11% bộ nhớ. Trên WikiText-103, mô hình ALiBi huấn luyện ở 512 token có perplexity 19,73 khi đọc 512 token và 18,40 khi đọc 3072 token: đọc dài hơn lúc học mà còn tốt hơn.

Kéo dài ngữ cảnh cho mô hình dùng RoPE

Với RoPE, vị trí vượt độ dài huấn luyện L tạo ra những góc xoay mô hình chưa từng gặp. Gọi \(s = L'/L\) là hệ số kéo dài. Nội suy vị trí (Position Interpolation, Chen và cộng sự 2023) chia mọi vị trí cho s, nên vị trí 8191 khi kéo từ 2048 lên 8192 thành 2047,75, vẫn nằm trong vùng đã học, rồi huấn luyện thêm một ít. Cách "NTK-aware" đổi cơ số b thành \(b' = b \cdot s^{|D|/(|D|-2)}\) để các chiều quay nhanh gần như giữ nguyên còn các chiều quay chậm được giãn.

YaRN gộp hai ý: chiều nào quay đủ nhiều vòng trong L token (mang thông tin vị trí gần) thì giữ nguyên, chiều quay chưa hết vòng thì nội suy, ở giữa thì trộn; cộng thêm một nhiệt độ cho softmax với \(\sqrt{1/t} = 0{,}1 \ln s + 1\). Bài báo kéo Llama 2 7B và 13B lên 128 nghìn token: bản s = 16 huấn luyện thêm 400 bước, bản s = 32 thêm 200 bước từ bản trước, tìm đúng mật khẩu giấu trong ngữ cảnh với độ chính xác trên 99%. Nhóm tác giả ghi YaRN cần ít hơn 10 lần số token và 2,5 lần số bước huấn luyện so với các cách trước.

Bạn gặp đúng điều này khi đọc thẻ mô hình. Thẻ của Qwen2.5-7B-Instruct (đọc 12/11/2026) ghi cấu hình mặc định cho 32.768 token, và muốn đọc tới 131.072 token thì thêm mục cấu hình YaRN với hệ số 4, tức s = 131072 / 32768. Thẻ còn lưu ý hệ số cố định có thể làm giảm chất lượng với văn bản ngắn, nên chỉ bật khi thật sự cần ngữ cảnh dài.

Thử bằng numpy

Đoạn code dưới đây cài mã hóa hình sin, RoPE, độ dốc và bảng độ lệch ALiBi, nội suy vị trí và hệ số nhiệt độ của YaRN.

"""Ba cách đưa vị trí vào transformer, viết bằng numpy: mã hóa hình sin (Vaswani 2017), RoPE (Su 2021),
ALiBi (Press 2021), cộng phép nội suy vị trí và hệ số nhiệt độ của YaRN khi kéo dài ngữ cảnh."""
import math

import numpy as np


def hinh_sin(so_vi_tri, d):
    """PE(pos, 2i) = sin(pos / 10000^(2i/d)), PE(pos, 2i+1) = cos(pos / 10000^(2i/d))."""
    pos = np.arange(so_vi_tri)[:, None]
    goc = pos / 10000 ** (2 * np.arange(d // 2)[None, :] / d)
    pe = np.zeros((so_vi_tri, d))
    pe[:, 0::2] = np.sin(goc)
    pe[:, 1::2] = np.cos(goc)
    return pe


def rope(x, pos, co_so=10000.0, ti_le=1.0, theta=None):
    """Xoay từng cặp (x[2i], x[2i+1]) một góc pos * theta_i với theta_i = co_so^(-2i/d).
    ti_le = s > 1 là nội suy vị trí: dùng pos / s để vị trí mới nằm trong khoảng đã huấn luyện.
    theta: cho sẵn các góc theta_i (dùng khi minh họa một cặp chiều)."""
    d = x.shape[-1]
    if theta is None:
        theta = co_so ** (-np.arange(0, d, 2) / d)
    goc = (pos / ti_le) * np.asarray(theta)
    c, s = np.cos(goc), np.sin(goc)
    ra = np.empty_like(x)
    ra[0::2] = x[0::2] * c - x[1::2] * s
    ra[1::2] = x[0::2] * s + x[1::2] * c
    return ra


def diem_rope(q, k, m, n, **kw):
    """Tích vô hướng giữa truy vấn ở vị trí m và khóa ở vị trí n sau khi xoay."""
    return float(rope(q, m, **kw) @ rope(k, n, **kw))


def do_doc_alibi(so_dau):
    """Độ dốc ALiBi cho n đầu: cấp số nhân bắt đầu từ 2^(-8/n), công bội cũng là 2^(-8/n)."""
    r = 2 ** (-8 / so_dau)
    return np.array([r ** (h + 1) for h in range(so_dau)])


def bang_alibi(L, m):
    """Độ lệch cộng vào điểm chú ý của truy vấn i với khóa j: -m * (i - j); khóa ở tương lai bị che."""
    i, j = np.arange(L)[:, None], np.arange(L)[None, :]
    b = m * (j - i).astype(float)
    b[j > i] = -np.inf
    return b


def nhiet_do_yarn(s):
    """YaRN khuyên sqrt(1/t) = 0,1 ln(s) + 1 cho họ LLaMA."""
    return 0.1 * math.log(s) + 1


if __name__ == "__main__":
    np.set_printoptions(precision=4, suppress=True)
    print("Hình sin, d = 8, vị trí 0:", hinh_sin(2, 8)[0])
    print("Hình sin, d = 8, vị trí 1:", hinh_sin(2, 8)[1])

    rng = np.random.default_rng(1)
    q, k = rng.normal(size=64), rng.normal(size=64)
    print("RoPE, (m, n) = (5, 2):     %.6f" % diem_rope(q, k, 5, 2))
    print("RoPE, (m, n) = (105, 102): %.6f" % diem_rope(q, k, 105, 102))
    print("RoPE, (m, n) = (5, 4):     %.6f" % diem_rope(q, k, 5, 4))
    print("Độ dài trước và sau khi xoay: %.6f %.6f" % (np.linalg.norm(q), np.linalg.norm(rope(q, 777))))

    # Hình 1: một cặp chiều, theta = 0,3 rad, q và k ban đầu cùng hướng (1, 0).
    e = np.array([1.0, 0.0])
    for m, n in ((5, 2), (105, 102)):
        print("Một cặp, theta = 0,3: (m, n) = (%d, %d) -> q.k = %.4f" % (m, n, diem_rope(e, e, m, n, theta=[0.3])))

    print("ALiBi, 8 đầu, độ dốc:", do_doc_alibi(8))
    print("ALiBi, m = 1/2, truy vấn thứ 5:", bang_alibi(5, 0.5)[4])

    s = 8192 / 2048
    print("Nội suy: vị trí 8191 với s = %g thành %.2f (< 2048)" % (s, 8191 / s))
    for s in (8, 16, 32):
        print("YaRN, s = %d: sqrt(1/t) = %.3f" % (s, nhiet_do_yarn(s)))

Vectơ hình sin ở vị trí 0 là (0, 1, 0, 1, ...) vì sin 0 = 0 và cos 0 = 1; ở vị trí 1, chiều đầu là sin 1 ≈ 0,8415. Với q, k ngẫu nhiên 64 chiều, điểm RoPE ở (5, 2) và (105, 102) giống nhau tới chữ số cuối, còn ở (5, 4) thì khác. Độ dài vectơ trước và sau khi xoay bằng nhau. Một cặp chiều với θ = 0,3 cho 0,6216, đúng cos 0,9 của Hình 1. Độ dốc ALiBi cho 8 đầu là 0,5 tới 0,0039, và hàng của truy vấn thứ 5 với m = 1/2 là (−2; −1,5; −1; −0,5; 0). YaRN với s = 8 cho 1,208, khớp con số trong bài báo.

Muốn kiểm code RoPE của mình, hãy so với cách viết bằng số phức trong bài RoFormer: coi mỗi cặp chiều là một số phức, khi đó tích vô hướng sau khi xoay bằng phần thực của tổng \(q_c \, \overline{k_c} \, e^{i(m-n)\theta}\).

Chọn cách nào

Bạn hiếm khi tự chọn, vì cách mã hóa vị trí gắn chặt với mô hình đã huấn luyện. Bài YaRN ghi RoPE được dùng trong các họ LLaMA, GPT-NeoX và PaLM. Điều bạn cần là đọc đúng cấu hình: độ dài huấn luyện gốc, phương pháp kéo dài, hệ số s. Đổi những con số này mà không huấn luyện thêm thì mô hình vẫn chạy nhưng chất lượng ở ngữ cảnh dài không còn được bảo đảm.

Ngữ cảnh dài còn tốn bộ nhớ ở chỗ khác: mỗi token đã đọc để lại khóa và giá trị trong bộ nhớ. Phần đó nằm ở bài KV cache; còn giới hạn cửa sổ ngữ cảnh ở góc nhìn người dùng có trong bài token là gì.

Cẩn thận
  • Cộng RoPE vào bảng nhúng như hình sin: RoPE xoay truy vấn và khóa ở mỗi lớp chú ý, không đụng vào giá trị.
  • Ghép cặp chiều khác với lúc huấn luyện (cặp liền nhau hay hai nửa vectơ): code chạy nhưng mô hình trả kết quả sai.
  • Tăng độ dài ngữ cảnh trong cấu hình mà không bật phương pháp kéo dài đúng như thẻ mô hình hướng dẫn.
  • Bật hệ số kéo dài cố định cho mọi yêu cầu, kể cả yêu cầu ngắn, rồi thấy chất lượng giảm.

Câu hỏi thường gặp

Positional encoding là gì?

Là cách đưa thứ tự token vào transformer: cộng vectơ vị trí vào đầu vào, xoay truy vấn và khóa theo vị trí (RoPE), hoặc trừ vào điểm chú ý theo khoảng cách (ALiBi).

RoPE khác mã hóa hình sin ở đâu?

Hình sin cộng một vectơ vào bảng nhúng một lần ở đầu mạng. RoPE nhân (xoay) truy vấn và khóa ở mọi lớp chú ý, nên điểm chú ý chỉ phụ thuộc khoảng cách giữa hai token.

Vectơ vị trí học được có kém hình sin không?

Trong bài báo gốc thì gần như bằng nhau: perplexity 4,92 cho cả hai, BLEU 25,7 so với 25,8. Khác biệt lớn nằm ở khả năng dùng chuỗi dài hơn lúc huấn luyện.

Vì sao không đặt luôn ngữ cảnh thật dài lúc huấn luyện?

Vì chi phí lớp chú ý tăng theo bình phương độ dài chuỗi. Huấn luyện ngắn rồi kéo dài bằng ALiBi, nội suy vị trí hay YaRN rẻ hơn nhiều.

Học tiếp

Ngữ cảnh dài tốn bộ nhớ và băng thông. Bài FlashAttention giải thích cách tính chú ý mà không lưu cả ma trận điểm, còn bài KV cache tính bộ nhớ cho từng token đã đọc. Nếu muốn học AI bài bản cùng giảng viên, tham khảo khóa học AI của Big-O Coding.

Muốn học bài bản cùng giảng viên?

Khóa AI – Introduction to Machine Learning: nền tảng Máy học từ thuật toán cơ bản đến Neural Networks và LLM, học bằng Python. Học thử buổi 1 miễn phí.

Xem Khóa AI

Nguồn tham khảo

Chia sẻ: Facebook LinkedIn
Nhắn Zalo tư vấnZalo Gọi 0937 401 483