AI & Machine Learning

Mô hình Khuếch tán (Diffusion Models): AI Sinh ảnh Thế nào?

Từ Midjourney đến Stable Diffusion, các mô hình khuếch tán (Diffusion Models) đã hoàn toàn soán ngôi mạng đối kháng GAN để trở thành công nghệ thống trị tuyệt đối trong lĩnh vực trí tuệ nhân tạo tạo sinh hình ảnh, video và âm thanh.

Ý chính
  • Nguyên lý nhiệt động lực học không cân bằng: Lấy cảm hứng từ hiện tượng khuếch tán vật lý của chất khí, Diffusion Model phá hủy dần cấu trúc bức ảnh bằng cách thêm nhiễu Gaussian liên tục qua \(T\) bước, sau đó huấn luyện mạng nơ-ron học cách đảo ngược thời gian để khử nhiễu và kiến tạo tác phẩm mới từ hư vô.
  • Công thức dạng đóng thần kỳ: Nhờ tính chất tích chập của các phân phối Gaussian độc lập, quá trình khuếch tán thuận \(q(\mathbf{x}_t \mid \mathbf{x}_0)\) cho phép tính toán trực tiếp ảnh nhiễu tại bất kỳ bước thời gian \(t\) nào từ ảnh gốc mà không cần lặp qua từng bước trung gian.
  • Đột phá Latent Diffusion: Stable Diffusion đưa toàn bộ quá trình khử nhiễu vào không gian tiềm ẩn (Latent Space) được nén bởi mạng VAE, giảm độ phân giải xử lý từ \(512 \times 512\) điểm ảnh xuống còn \(64 \times 64\), tiết kiệm hàng chục lần tài nguyên GPU và mở ra kỷ nguyên ứng dụng đại trà.

1. Cuộc cách mạng Nghệ thuật AI: Từ GAN đến Diffusion

Trong gần một thập kỷ (2014 - 2021), mạng nơ-ron đối kháng GAN (Generative Adversarial Networks) của Ian Goodfellow là ông vua không thể tranh cãi của thế giới sinh ảnh. Kiến trúc của GAN gồm hai đấu sĩ:

  • Mạng sinh (Generator): Cố gắng vẽ tranh giả để đánh lừa.
  • Mạng phân biệt (Discriminator): Cố gắng bóc mẽ tranh giả.

Tuy nhiên, việc huấn luyện GAN là một cơn ác mộng kỹ thuật nổi tiếng:

  1. Mất cân bằng hội tụ (Training Instability): Hai mạng nơ-ron đối đầu nhau theo bài toán Min-Max của lý thuyết trò chơi. Nếu một mạng học nhanh hơn mạng kia một chút, hệ thống sẽ lập tức sụp đổ.
  2. Hiện tượng sụp đổ mốt (Mode Collapse): Mạng Generator tìm ra một mánh khóe nhỏ có thể qua mặt Discriminator và liên tục sinh ra cùng một khuôn mặt duy nhất bất kể đầu vào ngẫu nhiên là gì, làm mất hoàn toàn tính đa dạng của dữ liệu.

Năm 2020, bài báo đột phá DDPM (Denoising Diffusion Probabilistic Models) của Jonathan Ho, Ajay Jain và Pieter Abbeel tại Đại học UC Berkeley đã đưa mô hình khuếch tán trở thành chuẩn mực mới. Diffusion Models không cần đối kháng, quá trình huấn luyện cực kỳ ổn định với hàm mất mát MSE đơn giản và khả năng tạo ra hình ảnh có độ chi tiết, sắc nét và tính đa dạng vượt xa GAN.

Mô Hình Khuếch Tán (Diffusion Models) Quá trình thêm nhiễu từng bước và đảo ngược để tái tạo hình ảnh sắc nét Ảnh Gốc Rõ Nét (x0) Ảnh Lẫn Nhiễu (x_t) Nhiễu Thuần Túy (x_T) Quá Trình Nghịch: Mạng U-Net Khử Nhiễu
Mô Hình Khuếch Tán 1. Thêm nhiễu thuận (Forward): Cộng dần nhiễu Gaussian vào ảnh Biến ảnh thành nhiễu ngẫu nhiên 2. Khử nhiễu nghịch (Reverse): Mạng U-Net dự đoán thành phần nhiễu Trừ dần nhiễu ở từng bước lặp 3. Kết quả hình ảnh: Tạo ra ảnh mới tinh xảo và độc bản
Hai chiều khuếch tán: Thêm nhiễu thuận phá hủy ảnh và Khử nhiễu ngược kiến tạo tranh qua mạng U-Net

2. Quá trình Khuếch tán Thuận (Forward Diffusion Process)

Hãy tưởng tượng bạn nhỏ một giọt mực xanh vào một cốc nước trong suốt:

  • Ban đầu, giọt mực có hình dạng rõ ràng (ảnh gốc sắc nét \(\mathbf{x}_0\)).
  • Theo thời gian, các phân tử mực khuếch tán ngẫu nhiên và va chạm với các phân tử nước.
  • Sau một khoảng thời gian đủ dài (\(T = 1.000\) bước), giọt mực tan đều hoàn toàn vào cốc nước, biến thành một dung dịch màu xanh đồng nhất không còn bất kỳ cấu trúc ban đầu nào (nhiễu trắng Gaussian thuần túy \(\mathbf{x}_T \sim \mathcal{N}(\mathbf{0}, \mathbf{I})\)).

Về mặt toán học, quá trình khuếch tán thuận thêm một lượng nhỏ nhiễu Gaussian có kiểm soát vào ảnh tại mỗi bước thời gian \(t\):

\[q(\mathbf{x}_t \mid \mathbf{x}_{t-1}) = \mathcal{N}\left(\mathbf{x}_t; \, \sqrt{1 - \beta_t} \mathbf{x}_{t-1}, \, \beta_t \mathbf{I}\right)\]

Trong đó:

  • \(\beta_1, \beta_2, \dots, \beta_T\) là lịch trình thêm nhiễu (Variance Schedule, ví dụ tăng tuyến tính từ \(\beta_1 = 10^{-4}\) đến \(\beta_T = 0.02\)).
  • Hệ số \(\sqrt{1 - \beta_t}\) đảm bảo phương sai của ảnh không bị bùng nổ theo thời gian.

Công thức Dạng đóng Thần kỳ (Closed-Form Sampling):

Nếu muốn huấn luyện mô hình ở bước \(t = 500\), liệu ta có phải chạy tuần tự qua 500 bước thêm nhiễu không? Câu trả lời là KHÔNG.

Bằng cách đặt \(\alpha_t = 1 - \beta_t\) và hệ số tích lũy:

\[\bar{\alpha}_t = \prod_{s=1}^t \alpha_s\]

Dựa vào tính chất cộng của hai biến ngẫu nhiên Gauss độc lập \(\mathcal{N}(0, \sigma_1^2 \mathbf{I}) + \mathcal{N}(0, \sigma_2^2 \mathbf{I}) = \mathcal{N}(0, (\sigma_1^2 + \sigma_2^2) \mathbf{I})\), ta có thể lấy mẫu trực tiếp ảnh nhiễu \(\mathbf{x}_t\) tại bất kỳ bước \(t\) nào chỉ từ ảnh gốc \(\mathbf{x}_0\) với đúng một phép toán duy nhất:

\[\mathbf{x}_t = \sqrt{\bar{\alpha}_t} \mathbf{x}_0 + \sqrt{1 - \bar{\alpha}_t} \boldsymbol{\epsilon}, \quad \text{với } \boldsymbol{\epsilon} \sim \mathcal{N}(\mathbf{0}, \mathbf{I})\]

Đây là công thức nền tảng mang lại tốc độ huấn luyện phi thường cho Diffusion Models: trong mỗi mini-batch huấn luyện, ta chỉ cần chọn ngẫu nhiên một bước thời gian \(t \in \{1, \dots, T\}\), tạo một vector nhiễu ngẫu nhiên \(\boldsymbol{\epsilon}\) và áp dụng công thức trên để tạo ra \(\mathbf{x}_t\).

3. Quá trình Khuếch tán Ngược (Reverse Denoising Process)

Nếu quá trình thuận biến dữ liệu có nghĩa thành nhiễu hạt vô nghĩa, thì mục tiêu của AI là đảo ngược mũi tên thời gian: Bắt đầu từ một khung hình nhiễu ngẫu nhiên hoàn toàn \(\mathbf{x}_T\), làm thế nào để từng bước gỡ bỏ nhiễu và khôi phục lại bức tranh tuyệt mỹ \(\mathbf{x}_0\)?

Xác suất đảo ngược thực sự \(q(\mathbf{x}_{t-1} \mid \mathbf{x}_t)\) không thể tính toán trực tiếp vì nó đòi hỏi phải tích phân trên toàn bộ phân phối dữ liệu thế giới \(q(\mathbf{x}_0)\).

Do đó, ta sử dụng một mạng nơ-ron tham số hóa bởi \(\theta\) để xấp xỉ phân phối ngược:

\[p_\theta(\mathbf{x}_{t-1} \mid \mathbf{x}_t) = \mathcal{N}\left(\mathbf{x}_{t-1}; \, \boldsymbol{\mu}_\theta(\mathbf{x}_t, t), \, \boldsymbol{\Sigma}_\theta(\mathbf{x}_t, t)\right)\]

Trọng tâm Huấn luyện: Dự đoán Vector Nhiễu Epsilon

Phân tích toán học của Jonathan Ho (2020) đã chứng minh rằng thay vì bắt mạng nơ-ron dự đoán giá trị trung bình \(\boldsymbol{\mu}_\theta\), việc huấn luyện mạng nơ-ron dự đoán chính xác vector nhiễu \(\boldsymbol{\epsilon}\) đã được thêm vào ở bước \(t\) mang lại chất lượng hình ảnh vượt trội hơn hẳn.

Hàm mất mát đơn giản đến bất ngờ:

\[\mathcal{L}_{\text{simple}}(\theta) = \mathbb{E}_{t, \mathbf{x}_0, \boldsymbol{\epsilon}} \left[ \left\| \boldsymbol{\epsilon} - \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t) \right\|_2^2 \right]\]

Mạng nơ-ron chỉ cần nhận vào ảnh nhiễu \(\mathbf{x}_t\) cùng bước thời gian \(t\), và ước tính xem vector nhiễu ban đầu \(\boldsymbol{\epsilon}\) trông như thế nào bằng hàm tổn thất Mean Squared Error (MSE)!

Khi đã có mạng dự đoán nhiễu \(\boldsymbol{\epsilon}_\theta\), công thức khử nhiễu từng bước trong quá trình suy luận là:

\[\mathbf{x}_{t-1} = \frac{1}{\sqrt{\alpha_t}} \left( \mathbf{x}_t - \frac{1 - \alpha_t}{\sqrt{1 - \bar{\alpha}_t}} \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t) \right) + \sigma_t \mathbf{z}\]

(với \(\mathbf{z} \sim \mathcal{N}(\mathbf{0}, \mathbf{I})\) cho \(t \gt 1\) và \(\mathbf{z} = \mathbf{0}\) khi \(t = 1\)).

Học cùng giảng viên

Chủ đề này nằm trong Lecture 14 - Neural Networks của Khóa AI. Xem đề cương

4. Xương sống Kiến trúc: Mạng U-Net và Cross-Attention

Mạng nơ-ron \(\boldsymbol{\epsilon}_\theta\) được chọn cho các mô hình khuếch tán thường là kiến trúc U-Net (được Ronneberger phát minh năm 2015 cho phân vùng ảnh y tế) kết hợp với các khối cơ chế chú ý:

  1. Khối Co lại (Encoder / Contracting Path): Các tầng tích chập và pooling giảm dần kích thước không gian của ảnh, đồng thời tăng số kênh đặc trưng để nắm bắt ngữ cảnh trừu tượng cấp cao.
  2. Khối Mở rộng (Decoder / Expanding Path): Các tầng giải tích chập (Upsampling) khôi phục lại độ phân giải không gian ban đầu của bức ảnh.
  3. Kết nối tắt (Skip Connections): Sao chép trực tiếp các bản đồ đặc trưng chi tiết độ phân giải cao từ khối Encoder sang khối Decoder tương ứng, giúp bảo tồn hoàn hảo các đường nét, viền cạnh và kết cấu nhỏ li ti của vật thể.
  4. Mã hóa bước thời gian (Time Embedding): Bước thời gian \(t\) được mã hóa bằng hàm hình sin (tương tự Positional Encoding trong Transformer) rồi cộng vào từng khối tích chập, giúp mạng nơ-ron biết chính xác mức độ nhiễu hiện tại của ảnh đang ở giai đoạn đầu hay giai đoạn cuối.
  5. Điều hướng bằng văn bản qua Cross-Attention: Để sinh ảnh theo câu lệnh prompt của người dùng:
    • Câu lệnh được đưa qua mô hình ngôn ngữ (như OpenCLIP hoặc T5) để sinh ra chuỗi vector ngữ cảnh text embeddings \(\mathbf{y}\).
    • Trong các khối U-Net, các tầng Cross-Attention nhận Query \(\mathbf{Q}\) từ đặc trưng ảnh và Key \(\mathbf{K}\), Value \(\mathbf{V}\) từ vector câu lệnh: \[\text{Cross-Attention}(\mathbf{Q}_{\text{image}}, \mathbf{K}_{\text{text}}, \mathbf{V}_{\text{text}})\] Nhờ đó, văn bản câu lệnh trực tiếp định hướng cho mạng nơ-ron biết nên khử nhiễu thành hình dạng bông hoa hay con mèo.

5. Đột phá Latent Diffusion và Kiến trúc Stable Diffusion

Mặc dù DDPM tạo ra ảnh tuyệt đẹp, việc thực hiện khử nhiễu lặp lại \(1.000\) bước trực tiếp trong không gian điểm ảnh (Pixel Space) độ phân giải cao (ví dụ ảnh \(512 \times 512 \times 3 = 786.432\) số thực) tiêu tốn thời gian suy luận lên tới hàng phút trên GPU đắt tiền.

Năm 2022, nhóm nghiên cứu tại Đại học Ludwig Maximilian Munich (cùng Đại học Heidelberg) và Runway công bố mô hình Latent Diffusion Models (LDM); cũng năm đó, nhóm hợp tác với Stability AI và Runway để ra sản phẩm lịch sử mang tên Stable Diffusion dựa trên LDM:

Thay vì khuếch tán trên pixel, LDM chia hệ thống thành hai giai đoạn:

  1. Bộ nén không gian tiềm ẩn (Variational Autoencoder - VAE):
    • Mạng nén (Encoder \(\mathcal{E}\)) nén ảnh gốc \(512 \times 512 \times 3\) xuống không gian tiềm ẩn (Latent Space) có kích thước chỉ còn \(64 \times 64 \times 4\) (giảm 48 lần dung lượng dữ liệu).
    • Mạng giải nén (Decoder \(\mathcal{D}\)) có khả năng tái tạo lại ảnh \(512 \times 512\) sắc nét từ vector tiềm ẩn này.
  2. Khuếch tán trong Latent Space: Toàn bộ quá trình thêm nhiễu thuận và khử nhiễu ngược của U-Net được thực hiện hoàn toàn bên trong không gian \(64 \times 64\) nhỏ gọn này! Nhờ giảm tải khối lượng tính toán khổng lồ, Stable Diffusion có thể sinh ra một bức ảnh tuyệt mỹ chỉ trong vòng 2 đến 3 giây ngay trên một card đồ họa phổ thông 8GB VRAM.

6. Kỹ thuật Hướng dẫn Không Cần Bộ Phân Loại (Classifier-Free Guidance)

Một vấn đề lớn của mô hình sinh có điều kiện là: làm sao ép buộc bức tranh sinh ra phải bám sát 100% câu lệnh prompt, không được vẽ tự do?

Kỹ thuật Classifier-Free Guidance (CFG) do Jonathan Ho & Tim Salimans đề xuất năm 2021 là giải pháp tiêu chuẩn: Trong lúc suy luận, mạng U-Net tính toán hai vector dự đoán nhiễu song song:

  1. \(\boldsymbol{\epsilon}_\theta(\mathbf{x}_t \mid c)\): Dự đoán nhiễu có điều kiện (kèm prompt \(c\)).
  2. \(\boldsymbol{\epsilon}_\theta(\mathbf{x}_t \mid \emptyset)\): Dự đoán nhiễu vô điều kiện (prompt rỗng).

Vector nhiễu cuối cùng là phép nội suy mở rộng có trọng số:

\[\tilde{\boldsymbol{\epsilon}}_\theta(\mathbf{x}_t) = \boldsymbol{\epsilon}_\theta(\mathbf{x}_t \mid \emptyset) + s \cdot \left[ \boldsymbol{\epsilon}_\theta(\mathbf{x}_t \mid c) - \boldsymbol{\epsilon}_\theta(\mathbf{x}_t \mid \emptyset) \right]\]

Trong đó \(s\) là hệ số hướng dẫn CFG Scale (thường chọn từ \(7.0\) đến \(9.0\)):

  • Nếu \(s = 1.0\): Mô hình sinh tranh tự do, sáng tạo nhưng có thể bỏ sót các chi tiết trong prompt.
  • Nếu \(s = 7.0 - 9.0\): Hiệu số giữa có prompt và không prompt được khuếch đại gấp nhiều lần, bức tranh tuân thủ nghiêm ngặt mọi từ ngữ trong câu lệnh.
  • Nếu \(s \gt 15.0\): Màu sắc bức tranh sẽ bị cháy sáng và bão hòa quá mức (oversaturated artifacts).

7. Cài đặt thuật toán kiểm thử: Lấy mẫu Quá trình Thuận DDPM

Dưới đây là mã nguồn cài đặt chính xác công thức lấy mẫu dạng đóng \(q(\mathbf{x}_t \mid \mathbf{x}_0)\) của quá trình khuếch tán thuận trong cả Python và C++17, tính toán chi tiết sự kết hợp giữa ảnh gốc \(x_0\) và vector nhiễu \(\epsilon\) theo hệ số \(\bar{\alpha}_t\):

import math

def ddpm_q_sample(x_0, noise, alpha_bar_t):
    mean_coeff = math.sqrt(alpha_bar_t)
    var_coeff = math.sqrt(1.0 - alpha_bar_t)
    return [
        round(mean_coeff * x + var_coeff * eps, 4)
        for x, eps in zip(x_0, noise)
    ]

Phân tích độ phức tạp thuật toán

  • Độ phức tạp thời gian: Công thức tính toán dạng đóng chỉ bao gồm phép nhân vô hướng của vector với căn bậc hai của hệ số tích lũy, có độ phức tạp thời gian tuyến tính \(\mathcal{O}(D)\) với \(D\) là tổng số chiều của ảnh.
  • Độ phức tạp không gian: Chỉ cần bộ nhớ để chứa vector kết quả \(\mathcal{O}(D)\).

8. Bài tập vận dụng và câu hỏi phỏng vấn

  1. Câu hỏi: Tại sao các bộ lấy mẫu suy luận hiện đại như DDIM, DPM-Solver hay Euler Ancestral có thể sinh ảnh chỉ với 20 đến 30 bước, trong khi DDPM gốc cần tới 1.000 bước?
    • Gợi ý trả lời: DDPM gốc dựa trên phương trình vi phân ngẫu nhiên (Stochastic Differential Equation - SDE) mô phỏng chuỗi Markov rời rạc, bước nhảy phải cực nhỏ để đảm bảo phân phối ngược vẫn là Gaussian. Các thuật toán hiện đại như DDIM (Denoising Diffusion Implicit Models) và DPM-Solver nhìn nhận quá trình khuếch tán dưới góc độ Phương trình Vi phân Thường (Ordinary Differential Equation - ODE) xác định. Bằng cách sử dụng các giải thuật giải tích số học bậc cao (như Runge-Kutta), bộ giải có thể thực hiện các bước nhảy thời gian rất lớn trên quỹ đạo khử nhiễu mà vẫn đảm bảo độ chính xác, rút ngắn thời gian sinh ảnh từ 1.000 bước xuống chỉ còn 20 bước mà chất lượng không đổi.
  2. Câu hỏi: Trong mô hình Stable Diffusion, nếu bạn thay đổi tham số Seed ngẫu nhiên nhưng giữ nguyên toàn bộ câu lệnh Prompt, bức tranh sinh ra sẽ thay đổi như thế nào?
    • Gợi ý trả lời: Tham số Seed quyết định trạng thái khởi tạo của vector nhiễu trắng ngẫu nhiên \(\mathbf{x}_T\) tại thời điểm \(t = T\). Khi thay đổi Seed, điểm xuất phát ban đầu trong không gian tiềm ẩn thay đổi hoàn toàn, dẫn đến bố cục tổng thể của bức tranh (vị trí chủ thể, góc nhìn camera, tư thế nhân vật) sẽ hoàn toàn khác biệt. Tuy nhiên, vì câu lệnh Prompt vẫn giữ nguyên, phong cách nghệ thuật, màu sắc chủ đạo và các đối tượng chính trong tranh vẫn tuân thủ theo mô tả văn bản.
Muốn học bài bản cùng giảng viên?

Khóa AI – Introduction to Machine Learning: nền tảng Máy học từ thuật toán cơ bản đến Neural Networks và LLM, học bằng Python. Học thử buổi 1 miễn phí.

Xem Khóa AI

Nguồn tham khảo

Chia sẻ: Facebook LinkedIn
Nhắn Zalo tư vấnZalo Gọi 0937 401 483