AI & Machine Learning

Fine-Tuning Mô hình AI và Kỹ thuật Thích ứng Hạng thấp LoRA

Kỹ thuật Thích ứng Hạng thấp LoRA (Low-Rank Adaptation) cùng biến thể QLoRA là giải pháp đột phá giúp cá nhân và doanh nghiệp có thể tinh chỉnh các mô hình ngôn ngữ lớn hàng chục tỷ tham số chỉ trên một GPU tiêu dùng duy nhất.

Ý chính
  • Bế tắc bộ nhớ của Full Fine-Tuning: Huấn luyện lại toàn bộ trọng số của một mô hình LLM 70 tỷ tham số đòi hỏi hơn 700GB VRAM chuyên dụng để lưu trạng thái tối ưu AdamW và gradients, chi phí phần cứng vượt quá tầm với của đại đa số doanh nghiệp.
  • Nguyên lý Thích ứng Hạng thấp (LoRA): Đóng băng 100% ma trận trọng số gốc \(W_0\) và mô hình hóa lượng cập nhật \(\Delta W\) dưới dạng tích của hai ma trận hạng thấp \(A\) và \(B\) (\(r \ll d\)), giúp giảm tới 99% số lượng tham số cần tối ưu hóa.
  • Không gây độ trễ khi triển khai (Zero Latency Overhead): Ma trận adapter LoRA có thể được cộng trực tiếp vào ma trận trọng số ban đầu trước khi triển khai suy luận (\(W_{\text{final}} = W_0 + \frac{\alpha}{r} AB\)), hoàn toàn không tiêu hao thêm bất kỳ tài nguyên tính toán hay độ trễ nào.

1. Cuộc khủng hoảng tài nguyên của Tinh chỉnh Toàn phần (Full Fine-Tuning)

Khi muốn tinh chỉnh một mô hình nền tảng (Foundation Model) cho một tác vụ chuyên sâu (ví dụ: tư vấn luật y tế, viết code SQL tự động, dịch thuật tiếng địa phương), phương pháp truyền thống là Full Fine-Tuning (FFT): Cập nhật toàn bộ các tham số trọng số trong mạng nơ-ron bằng giải thuật lan truyền ngược.

Hãy làm một phép tính tài nguyên chi tiết cho một mô hình có quy mô khiêm tốn như LLaMA-3 8B (8 tỷ tham số):

  1. Trọng số mô hình (Model Weights): Ở định dạng 16-bit (FP16 / BF16), mỗi tham số chiếm 2 bytes \(\to 8 \times 10^9 \times 2 = 16\text{ GB}\) VRAM.
  2. Gradients: Để tính toán cập nhật, cần lưu gradient của từng tham số \(\to 16\text{ GB}\) VRAM.
  3. Trạng thái bộ tối ưu AdamW (Optimizer States): AdamW lưu trữ hai giá trị thống kê: động lượng (momentum \(m_t\)) và phương sai gradient (\(v_t\)) ở định dạng 32-bit (FP32, 4 bytes mỗi giá trị) để đảm bảo độ chính xác số học \(\to 8 \times 10^9 \times (4 + 4) = 64\text{ GB}\) VRAM.
  4. Activations & Bộ nhớ đệm: Tiêu tốn thêm từ \(10\text{ GB}\) đến \(20\text{ GB}\) tùy thuộc vào kích thước batch size và độ dài ngữ cảnh.

Tổng cộng, để fine-tune một mô hình chỉ 8B tham số, ta cần tối thiểu khoảng \(106\text{GB}\) VRAM, vượt xa dung lượng của card đồ họa cao cấp nhất cho người tiêu dùng (NVIDIA GeForce RTX 5090, 32GB) và bắt buộc phải thuê các máy chủ AI đắt đỏ trang bị NVIDIA A100/H100 80GB. Với các mô hình 70B, con số này vượt qua \(800\text{GB}\) VRAM.

Hơn nữa, nếu công ty có 10 bài toán nghiệp vụ khác nhau, việc lưu trữ 10 bản sao mô hình Full Fine-Tuning độc lập sẽ ngốn hàng Terabyte ổ cứng và gây ác mộng cho khâu vận hành triển khai.

Kỹ Thuật Tinh Chỉnh LoRA Đóng băng trọng số gốc và cập nhật thông qua phân rã ma trận hạng thấp W_0 Đóng Băng (Frozen) Ma Trận Gốc (d x k) + A (d x r) × B (r x k) Nhánh Thích Ứng LoRA Hiệu Quả Giảm ~3 lần VRAM Hạng r nhỏ (4-16) Huấn luyện nhanh Dễ dàng ghép nối Chỉ cần lưu file adapter vài chục MB thay vì toàn bộ mô hình hàng chục GB
Kỹ Thuật LoRA 1. Trọng số gốc W0: Đóng băng hoàn toàn tham số Không tính đạo hàm cho W0 2. Phân rã ma trận A và B: ΔW = A · B với hạng r << d Chỉ huấn luyện số ít tham số mới 3. Lợi ích vượt trội: Tiết kiệm bộ nhớ GPU tối đa File trọng số adapter cực nhẹ
Cơ chế nhánh rẽ ma trận hạng thấp của LoRA kết hợp với trọng số cơ sở đóng băng

2. Bản chất Toán học của Kỹ thuật LoRA (Low-Rank Adaptation)

Năm 2021, nhóm nghiên cứu tại Microsoft do Edward Hu dẫn đầu đã công bố giải pháp LoRA (Low-Rank Adaptation) dựa trên một quan sát lý thuyết sâu sắc:

Giả thuyết Hạng nội tại thấp (Intrinsic Low-Rank Hypothesis): Mặc dù các ma trận trọng số trong mô hình ngôn ngữ lớn có số chiều cực cao (\(d \times k\), với \(d, k \ge 4096\)), nhưng lượng thông tin thực sự thay đổi trong quá trình thích nghi với một nhiệm vụ mới (\(\Delta W\)) chỉ tập trung trên một không gian con có số chiều nội tại (intrinsic dimension) cực kỳ nhỏ.

Cơ chế hoạt động của LoRA:

Xét một tầng tuyến tính bất kỳ trong Transformer với ma trận trọng số gốc \(\mathbf{W}_0 \in \mathbb{R}^{d \times k}\). Với vector đầu vào \(\mathbf{x} \in \mathbb{R}^{1 \times d}\), phép tính truyền thẳng thông thường là:

\[\mathbf{h} = \mathbf{x} \mathbf{W}_0\]

Thay vì tối ưu hóa trực tiếp một ma trận \(\Delta \mathbf{W} \in \mathbb{R}^{d \times k}\) khổng lồ, LoRA đóng băng hoàn toàn (freeze) \(\mathbf{W}_0\) và phân rã ma trận thay đổi thành tích của hai ma trận hạng thấp:

\[\Delta \mathbf{W} = \mathbf{A} \mathbf{B}\]

Trong đó:

  • \(\mathbf{A} \in \mathbb{R}^{d \times r}\) là ma trận thu nhỏ chiều không gian.
  • \(\mathbf{B} \in \mathbb{R}^{r \times k}\) là ma trận mở rộng chiều không gian.
  • Hạng ma trận (Rank) \(r\) được chọn cực kỳ nhỏ so với số chiều gốc: \(r \ll \min(d, k)\) (thường chỉ chọn \(r = 4, 8, 16\)).

Đầu ra của tầng nơ-ron sau khi áp dụng LoRA là tổ hợp của nhánh chính và nhánh rẽ hạng thấp:

\[\mathbf{h} = \mathbf{x} \mathbf{W}_0 + \frac{\alpha}{r} (\mathbf{x} \mathbf{A}) \mathbf{B}\]

Khởi tạo trọng số và Hệ số tỷ lệ alpha / r:

  • Khởi tạo thông minh: Ma trận \(\mathbf{A}\) được khởi tạo ngẫu nhiên theo phân phối chuẩn Gaussian \(\mathcal{N}(0, \sigma^2)\), trong khi ma trận \(\mathbf{B}\) được khởi tạo hoàn toàn bằng các số 0. Nhờ đó, tại bước huấn luyện đầu tiên (\(t = 0\)), ta có \(\mathbf{A} \mathbf{B} = \mathbf{0}\), đồng nghĩa với việc \(\Delta \mathbf{W} = \mathbf{0}\). Mô hình bắt đầu quá trình tinh chỉnh chính xác từ trạng thái ban đầu của mô hình nền tảng mà không chịu bất kỳ sự nhiễu loạn nào.
  • Hệ số co giãn \(\frac{\alpha}{r}\) (Scaling Factor): \(\alpha\) là một hằng số siêu tham số (thường đặt \(\alpha = 2r\) hoặc \(\alpha = 16\)). Phép chia cho \(r\) giúp ổn định độ lớn của gradient khi người dùng thử nghiệm thay đổi các giá trị hạng \(r\) khác nhau mà không cần phải tinh chỉnh lại tốc độ học (learning rate).

3. Tại sao LoRA tiết kiệm bộ nhớ GPU khủng khiếp?

Hãy làm lại bài toán tài nguyên cho tầng nơ-ron có kích thước \(d = 4.096, k = 4.096\):

  • Ma trận gốc \(\mathbf{W}_0\) chứa: \(4.096 \times 4.096 = 16.777.216\) tham số (khoảng \(16.8\) triệu).
  • Nếu chọn hạng LoRA \(r = 8\):
    • Ma trận \(\mathbf{A}\) chứa: \(4.096 \times 8 = 32.768\) tham số.
    • Ma trận \(\mathbf{B}\) chứa: \(8 \times 4.096 = 32.768\) tham số.
    • Tổng số tham số cần huấn luyện của nhánh LoRA: \(32.768 + 32.768 = 65.536\) tham số (khoảng \(65\) nghìn).

Số lượng tham số cần huấn luyện giảm tới \(99.61\%\)! Quan trọng hơn cả, vì ma trận gốc \(\mathbf{W}_0\) bị đóng băng hoàn toàn, ta không cần lưu trữ gradients và trạng thái tối ưu AdamW cho \(16.8\) triệu tham số này. Bộ nhớ AdamW chỉ cần cấp phát cho \(65.536\) tham số của \(\mathbf{A}\) và \(\mathbf{B}\), giải phóng tới \(70\% - 80\%\) dung lượng VRAM tổng thể của GPU.

4. Đột phá QLoRA: Tinh chỉnh Mô hình Lớn trên Card Đồ họa Phổ thông

Năm 2023, Tim Dettmers cùng các cộng sự tại Đại học Washington đã nâng tầm kỹ thuật thích ứng hạng thấp với công trình QLoRA (Quantized LoRA), cho phép tinh chỉnh mô hình 65B tham số trên một GPU đơn lẻ 48GB VRAM.

QLoRA kết hợp ba cải tiến công nghệ đột phá:

  1. Kiểu dữ liệu 4-bit NormalFloat (NF4): Các trọng số nơ-ron sau giai đoạn tiền huấn luyện tuân theo phân phối chuẩn Gaussian \(\mathcal{N}(0, \sigma^2)\). Kiểu dữ liệu số học thông thường không đặt các mức lượng tử hóa theo phân phối chuẩn: INT4 chia các mức cách đều nhau, còn FP4 (dạng E2M1) chỉ có các mức cố định \(0, \pm 0.5, \pm 1, \pm 1.5, \pm 2, \pm 3, \pm 4, \pm 6\) (trước khi nhân hệ số tỷ lệ), nên lãng phí độ chính xác so với cách trọng số thực sự phân bố. NF4 thiết kế các khoảng lượng tử hóa có diện tích xác suất bằng nhau, đạt độ chính xác thông tin tối ưu lý thuyết cho dữ liệu phân phối chuẩn. Nhờ NF4, mô hình gốc được nén từ 16-bit xuống 4-bit, giảm dung lượng bộ nhớ tĩnh xuống còn \(1/4\) (mô hình 7B chỉ chiếm khoảng 4GB VRAM).
  2. Lượng tử hóa kép (Double Quantization - DQ): Lượng tử hóa các hằng số tỷ lệ (quantization constants) của chính bước lượng tử hóa trước, tiết kiệm thêm trung bình \(0.37\) bit cho mỗi tham số.
  3. Bộ nhớ tối ưu phân trang (Paged Optimizers): Sử dụng cơ chế bộ nhớ phân trang của NVIDIA CUDA để tự động chuyển các trạng thái bộ tối ưu tạm thời từ VRAM GPU sang RAM hệ thống khi gặp các đoạn văn bản dài đột biến (memory spikes), ngăn chặn hoàn toàn lỗi tràn bộ nhớ CUDA Out of Memory.
Học cùng giảng viên

Chủ đề này nằm trong Lecture 14 - Neural Networks của Khóa AI. Xem đề cương

5. Cài đặt thuật toán kiểm thử: Bước truyền xuôi LoRA Forward Pass

Dưới đây là mã nguồn cài đặt chính xác bước tính toán truyền xuôi của tầng tuyến tính tích hợp adapter LoRA trong cả Python và C++17, tính toán độc lập nhánh ma trận cơ sở \(W_{\text{base}}\) và nhánh rẽ hạng thấp \((x A) B \cdot (\alpha / r)\):

def lora_forward(x, W_base, A, B, alpha, r):
    # Base weight forward: h_base = x * W_base (1x2 * 2x2 -> 1x2)
    h_base = [
        x[0] * W_base[0][0] + x[1] * W_base[1][0],
        x[0] * W_base[0][1] + x[1] * W_base[1][1]
    ]

    # LoRA adaptation: delta_h = (x * A) * B * (alpha / r)
    # x: 1x2, A: 2x1 -> xA: scalar (1x1)
    xA = x[0] * A[0][0] + x[1] * A[1][0]

    # xA: 1x1, B: 1x2 -> xAB: 1x2
    scale = alpha / r
    delta_h = [
        xA * B[0][0] * scale,
        xA * B[0][1] * scale
    ]

    y = [
        round(h_base[0] + delta_h[0], 4),
        round(h_base[1] + delta_h[1], 4)
    ]
    return y

Phân tích độ phức tạp thuật toán

  • Độ phức tạp thời gian khi huấn luyện: Phép tính nhánh cơ sở \(x \mathbf{W}_0\) tiêu tốn \(\mathcal{O}(d \cdot k)\). Phép tính nhánh LoRA \((x \mathbf{A}) \mathbf{B}\) tiêu tốn \(\mathcal{O}(d \cdot r + r \cdot k) = \mathcal{O}(r(d + k))\). Vì \(r \ll \min(d, k)\), chi phí tính toán bổ sung của nhánh LoRA là không đáng kể (dưới 1%).
  • Độ phức tạp khi triển khai (Zero-Inference Overhead): Khi kết thúc huấn luyện, ta thực hiện cộng trực tiếp: \[\mathbf{W}_{\text{deploy}} = \mathbf{W}_0 + \frac{\alpha}{r} \mathbf{A} \mathbf{B}\] Trong quá trình phục vụ suy luận, mô hình chỉ thực hiện một phép nhân ma trận \(\mathbf{x} \mathbf{W}_{\text{deploy}}\) duy nhất, tốc độ suy luận giống hệt 100% so với mô hình nguyên bản.

6. Lựa chọn Siêu tham số Thực chiến cho LoRA

Khi áp dụng LoRA trên thư viện Hugging Face PEFT, các kỹ sư cần lưu ý các quy tắc cấu hình thực nghiệm sau:

  1. Nên áp dụng LoRA vào những tầng nào? Trong bài báo gốc năm 2021, các tác giả chỉ áp dụng LoRA vào hai ma trận Attention là \(\mathbf{W}_q\) và \(\mathbf{W}_v\). Tuy nhiên, các nghiên cứu thực nghiệm sâu rộng sau này (như bài báo QLoRA) chứng minh rằng: Áp dụng LoRA lên tất cả các tầng tuyến tính (bao gồm \(\mathbf{W}_q, \mathbf{W}_k, \mathbf{W}_v, \mathbf{W}_o\) và cả 3 ma trận của khối FFN gate_proj, up_proj, down_proj) với hạng \(r\) nhỏ (\(r = 8\) hoặc \(16\)) mang lại hiệu năng vượt trội hơn nhiều so với việc chỉ áp dụng lên Attention với hạng \(r\) lớn (\(r = 64\)).
  2. Chọn giá trị hạng \(r\) bao nhiêu là đủ? Với hầu hết các tác vụ phân loại, chuyển đổi định dạng hoặc hỏi đáp miền hẹp, giá trị \(r = 8\) hoặc \(r = 16\) là hoàn toàn đủ để đạt \(99\%\) năng lực của Full Fine-Tuning. Chỉ nâng \(r = 32\) hoặc \(64\) khi bạn cần nạp vào mô hình một lượng tri thức ngôn ngữ hoàn toàn mới hoặc các quy tắc lập trình phức tạp.
  3. Quy tắc đặt hệ số \(\alpha\): Quy ước phổ biến nhất là chọn \(\alpha = 2 \times r\) (ví dụ \(r = 8 \to \alpha = 16\), \(r = 16 \to \alpha = 32\)).

7. Bài tập vận dụng và câu hỏi phỏng vấn

  1. Câu hỏi: Tại sao ma trận \(\mathbf{B}\) trong LoRA bắt buộc phải khởi tạo bằng \(0\), trong khi ma trận \(\mathbf{A}\) lại khởi tạo bằng phân phối ngẫu nhiên Gaussian? Điều gì sẽ xảy ra nếu khởi tạo cả hai ma trận bằng \(0\) hoặc cả hai bằng Gaussian?
    • Gợi ý trả lời:
      • Nếu khởi tạo cả hai bằng 0: Khi lan truyền ngược, gradient của cả hai ma trận đều bằng \(0\), dẫn đến hiện tượng đối xứng đối ngẫu khiến các tham số không thể học được các hướng biến đổi khác nhau.
      • Nếu khởi tạo cả hai bằng Gaussian: Tích \(\mathbf{A} \mathbf{B}\) lúc \(t = 0\) sẽ là một ma trận ngẫu nhiên khác không. Nó sẽ cộng một lượng nhiễu loạn ngẫu nhiên lớn vào trọng số nền tảng \(\mathbf{W}_0\), phá hủy ngay lập tức các tri thức quý giá mà mô hình đã học được trong giai đoạn Pre-training.
      • Do đó, việc khởi tạo \(\mathbf{A} \sim \mathcal{N}\) và \(\mathbf{B} = 0\) đảm bảo hai mục tiêu tối thượng: phá vỡ tính đối xứng để gradient có thể cập nhật, đồng thời giữ cho \(\Delta \mathbf{W} = \mathbf{0}\) tại thời điểm bắt đầu.
  2. Câu hỏi: Giả sử bạn cần xây dựng một hệ sinh thái phục vụ 50 khách hàng doanh nghiệp khác nhau, mỗi doanh nghiệp yêu cầu một phong cách trả lời riêng biệt. Bạn sẽ thiết kế kiến trúc phục vụ (Serving Architecture) bằng LoRA như thế nào để tối ưu chi phí phần cứng?
    • Gợi ý trả lời: Sử dụng kiến trúc Multi-LoRA Serving (hỗ trợ bởi các framework như vLLM hoặc S-LoRA):
      • Chỉ tải duy nhất một mô hình cơ sở 4-bit hoặc 16-bit (\(\mathbf{W}_0\)) vào bộ nhớ VRAM của GPU.
      • 50 file adapter LoRA của 50 khách hàng (mỗi file chỉ nặng khoảng vài chục Megabytes) được lưu trên ổ cứng SSD nhanh hoặc RAM hệ thống.
      • Khi có yêu cầu từ khách hàng nào, hệ thống kích hoạt adapter tương ứng trong quá trình tính toán Attention. Kiến trúc này cho phép phục vụ hàng trăm khách hàng chuyên biệt trên cùng một cụm GPU mà không cần nhân bản mô hình gốc.

8. Các biến thể LoRA mở rộng: DoRA, AdaLoRA và LongLoRA

Sự thành công vang dội của LoRA đã tạo tiền đề cho một loạt các nghiên cứu cải tiến đột phá trong cộng đồng trí tuệ nhân tạo:

8.1. DoRA (Weight-Decomposed Low-Rank Adaptation)

Được NVIDIA công bố năm 2024, DoRA phân rã ma trận trọng số thành hai thành phần độc lập: Độ lớn (Magnitude \(m\)) và Phương hướng (Direction \(V\) / \(\|V\|\)):

\[W = m \frac{V + \Delta V}{\|V + \Delta V\|_c} = m \frac{W_0 + AB}{\|W_0 + AB\|_c}\]

Trong đó \(\|\cdot\|_c\) là chuẩn tính riêng trên từng cột của ma trận, nên độ lớn \(m\) là một vector (mỗi cột một giá trị); \(A\), \(B\) là hai ma trận LoRA như ở mục 2.

Phân tích của NVIDIA chỉ ra rằng: trong khi Full Fine-Tuning có khả năng điều chỉnh linh hoạt cả độ lớn và phương hướng của trọng số, LoRA chuẩn lại có xu hướng thay đổi độ lớn và phương hướng một cách tỷ lệ thuận chặt chẽ (positive correlation). Bằng cách tách rời việc học độ lớn \(m\) (dưới dạng một vector hệ số co giãn đơn giản) và học hướng ma trận qua LoRA, DoRA thu hẹp khoảng cách hiệu năng với Full Fine-Tuning (trong các thí nghiệm của bài báo, DoRA luôn tốt hơn LoRA) mà không làm tăng chi phí lúc suy luận.

8.2. AdaLoRA (Adaptive Budget Allocation)

Trong LoRA chuẩn, ta phải gán một thứ hạng cố định \(r\) (ví dụ \(r = 8\)) cho tất cả các tầng tuyến tính trong mô hình. Tuy nhiên, các tầng ở vị trí khác nhau trong mạng nơ-ron đóng góp mức độ quan trọng rất khác nhau đối với tác vụ mới. AdaLoRA sử dụng phân rã giá trị suy biến SVD (\(\Delta W = P \Lambda Q\)) và thuật toán cắt tỉa thông minh (importance-based pruning) để phân bổ ngân sách tham số linh hoạt: các tầng quan trọng được tự động cấp hạng \(r\) cao hơn, trong khi các tầng ít quan trọng bị nén xuống \(r = 1\) hoặc \(0\), giúp tối ưu hóa tối đa tỷ lệ giữa độ chính xác và dung lượng bộ nhớ.

8.3. LongLoRA (Mở rộng ngữ cảnh hiệu quả)

LongLoRA kết hợp LoRA với cơ chế chú ý thưa dịch chuyển Shifted Sparse Attention (\(\text{S}^2\text{-Attn}\)), cho phép mở rộng cửa sổ ngữ cảnh của mô hình LLaMA từ 4K lên 32K hoặc 100K tokens trên một máy chủ GPU tiêu chuẩn mà không làm biến dạng khả năng chú ý toàn cục.

Muốn học bài bản cùng giảng viên?

Khóa AI – Introduction to Machine Learning: nền tảng Máy học từ thuật toán cơ bản đến Neural Networks và LLM, học bằng Python. Học thử buổi 1 miễn phí.

Xem Khóa AI

Nguồn tham khảo

Chia sẻ: Facebook LinkedIn
Nhắn Zalo tư vấnZalo Gọi 0937 401 483