AI & Machine Learning

Các Hàm Kích hoạt trong Deep Learning: Sigmoid, Tanh, ReLU, Leaky ReLU và GELU

Hàm kích hoạt (Activation Function) là thành phần phi tuyến tính bắt buộc trong mạng nơ-ron, giúp mô hình học các biểu diễn dữ liệu phức tạp và quyết định tốc độ hội tụ cũng như luồng chảy của gradient qua các tầng sâu.

Ý chính
  • Vai trò của tính phi tuyến: Không có hàm kích hoạt phi tuyến, mạng sâu nhiều tầng sẽ suy biến toán học thành một phép biến đổi tuyến tính đơn lẻ.
  • Sigmoid và Tanh: Phù hợp cho đầu ra nhị phân hoặc cổng kiểm soát, nhưng dễ gặp bão hòa và triệt tiêu đạo hàm (Vanishing Gradient).
  • ReLU và Leaky ReLU: Giải pháp đột phá tính toán siêu tốc với đạo hàm bằng 1 ở vùng dương, loại bỏ triệt tiêu gradient và giải quyết vấn đề Dying ReLU.
  • GELU (Gaussian Error Linear Unit): Chuẩn mực hiện đại kết hợp tính ngẫu nhiên của Dropout, là xương sống trong kiến trúc Transformer, BERT và GPT.

Nếu ví ma trận trọng số trong mạng nơ-ron như các sợi dây dẫn thần kinh truyền tải tín hiệu, thì Hàm kích hoạt (Activation Function) chính là chiếc công tắc quyết định nơ-ron nào được kích hoạt bừng sáng và mức độ thông tin nào được truyền tiếp sang tầng sau. Nếu không có các hàm kích hoạt phi tuyến tính, một mạng học sâu dù có xếp chồng \(1.000\) tầng nơ-ron cũng sẽ suy biến toán học thành một phép nhân ma trận tuyến tính đơn lẻ duy nhất. Bài viết này sẽ phân tích chi tiết quá trình tiến hóa của các hàm kích hoạt: từ những cái tên cổ điển như Sigmoid, Tanh, bước ngoặt mang tên ReLU, cho đến chuẩn mực hiện đại GELU đang vận hành các mô hình ngôn ngữ lớn (LLM).

Các Hàm Kích Hoạt Phi Tuyến Cốt Lõi Tạo tính phi tuyến giúp mạng nơ-ron học các hàm phức tạp Hàm ReLU f(x) = max(0, x) Hàm Sigmoid Khoảng giá trị (0, 1) Hàm GELU / Tanh Chuẩn trong Transformer Không có kích hoạt phi tuyến, mạng sâu chỉ tương đương 1 tầng tuyến tính
Các Hàm Kích Hoạt 1. ReLU: max(0, x) Tính toán siêu nhanh, phổ biến ở CNN Tránh triệt tiêu đạo hàm khi x > 0 2. Sigmoid: 1 / (1 + e^-x) Ép đầu ra về khoảng xác suất (0, 1) Dùng ở tầng cuối phân loại nhị phân 3. GELU / Tanh Hàm mượt mà, tối ưu cho mô hình ngôn ngữ Lựa chọn mặc định của Transformer
Hình 1. Đồ thị hàm số và so sánh chi tiết các hàm kích hoạt trong Deep Learning.

1. Vì sao Mạng Nơ-ron bắt buộc phải có Hàm Kích hoạt Phi tuyến?

Xét một mạng nơ-ron 2 tầng không có hàm kích hoạt phi tuyến:

  • Đầu ra tầng 1: \(\mathbf{z}_1 = \mathbf{x} \mathbf{W}_1 + \mathbf{b}_1\).
  • Đầu ra tầng 2: \(\mathbf{z}_2 = \mathbf{z}_1 \mathbf{W}_2 + \mathbf{b}_2\).

Thế \(\mathbf{z}_1\) vào phương trình tầng 2: \[\mathbf{z}_2 = (\mathbf{x} \mathbf{W}_1 + \mathbf{b}_1) \mathbf{W}_2 + \mathbf{b}_2 = \mathbf{x} (\mathbf{W}_1 \mathbf{W}_2) + (\mathbf{b}_1 \mathbf{W}_2 + \mathbf{b}_2)\]

Đặt \(\mathbf{W}' = \mathbf{W}_1 \mathbf{W}_2\) và \(\mathbf{b}' = \mathbf{b}_1 \mathbf{W}_2 + \mathbf{b}_2\), phương trình trở thành: \[\mathbf{z}_2 = \mathbf{x} \mathbf{W}' + \mathbf{b}'\] Toàn bộ mạng sâu đã rút gọn lại thành một mô hình tuyến tính đơn giản hệt như Hồi quy Tuyến tính! Nó hoàn toàn bất lực trước các bài toán phân loại phi tuyến tính như hàm XOR hay nhận diện khuôn mặt. Hàm kích hoạt phi tuyến \(a = f(z)\) chính là yếu tố duy nhất mang lại khả năng uốn cong không gian quyết định cho mạng nơ-ron.

2. Thế hệ cổ điển: Sigmoid và Hyperbolic Tangent (Tanh)

1. Hàm Sigmoid

Được lấy cảm hứng từ sinh học mô phỏng tần số phát xung thần kinh của nơ-ron não bộ: \[\sigma(x) = \frac{1}{1 + e^{-x}}\]

  • Miền giá trị: \((0, 1)\).
  • Đạo hàm: \(\sigma'(x) = \sigma(x) \cdot (1 - \sigma(x))\).

Nhược điểm chí mạng của Sigmoid:

  • Triệt tiêu đạo hàm (Vanishing Gradient): Đạo hàm cực đại của Sigmoid tại \(x = 0\) chỉ là \(0.25\). Khi \(|x| \gt 4\), đồ thị đi vào vùng bão hòa bằng phẳng, đạo hàm tiệm cận \(0\). Khi nhân chuỗi qua 10 tầng mạng, gradient suy giảm theo cấp số nhân: \(0.25^{10} \approx 9.5 \times 10^{-7}\), khiến các tầng đầu tiên hoàn toàn ngừng học!
  • Đầu ra không đối xứng qua tâm 0 (Not zero-centered): Do \(\sigma(x) \gt 0\) với mọi \(x\), các gradient truyền ngược qua trọng số luôn có cùng dấu (hoặc toàn dương hoặc toàn âm), khiến quá trình cập nhật bị dao động zigzag chậm chạp.

2. Hàm Tanh (Hyperbolic Tangent)

Được phát triển để khắc phục nhược điểm không đối xứng tâm của Sigmoid: \[\tanh(x) = \frac{e^x - e^{-x}}{e^x + e^{-x}} = 2\sigma(2x) - 1\]

  • Miền giá trị: \((-1, 1)\), đối xứng tuyệt đối qua gốc tọa độ \(0\).
  • Đạo hàm: \(\tanh'(x) = 1 - \tanh(x)^2\). Đạo hàm cực đại đạt \(1.0\) tại \(x = 0\).
  • Ứng dụng: Hội tụ nhanh hơn Sigmoid nhiều lần, thường được dùng trong mạng hồi quy LSTM và GRU để tạo giá trị ứng viên và trạng thái ẩn (còn các cổng điều khiển dùng Sigmoid). Tuy nhiên, Tanh vẫn bị vướng lỗi triệt tiêu đạo hàm khi \(|x|\) lớn.

3. Bước ngoặt cách mạng: ReLU và các Biến thể

1. ReLU (Rectified Linear Unit)

Năm 2012, Alex Krizhevsky cùng Geoffrey Hinton công bố mô hình AlexNet đoạt giải ImageNet lịch sử nhờ sử dụng hàm ReLU: \[f(x) = \max(0, x)\]

  • Đạo hàm: \[f'(x) = \begin{cases} 1 & \text{khi } x \gt 0 \\ 0 & \text{khi } x \lt 0 \end{cases}\]

Tại sao ReLU tạo nên cuộc cách mạng trong AI?

  • Xóa sổ Vanishing Gradient ở vùng dương: Khi \(x \gt 0\), đạo hàm luôn bằng \(1\), nên hàm kích hoạt không làm gradient nhỏ đi khi truyền ngược qua nhiều tầng (khác Sigmoid có đạo hàm tối đa \(0.25\)).
  • Tốc độ tính toán siêu tốc: Không cần tính toán hàm mũ \(\exp\) tốn kém như Sigmoid hay Tanh, máy tính chỉ cần một lệnh so sánh ngưỡng bit x > 0.
  • Tạo tính thưa (Sparsity): Khi \(x \lt 0\), nơ-ron bị tắt hoàn toàn về \(0\), giúp mạng nơ-ron chỉ kích hoạt các đặc trưng cốt lõi, giảm thiểu nguy cơ overfitting.

Nhược điểm: Hiện tượng Chết nơ-ron (Dying ReLU) Nếu một bước cập nhật gradient quá mạnh đẩy trọng số làm cho \(x\) luôn âm, đạo hàm sẽ bằng \(0\) vĩnh viễn, nơ-ron đó coi như "đã chết" và không bao giờ học được nữa.

2. Leaky ReLU & PReLU

Để giải quyết lỗi Dying ReLU, người ta cho phép một độ dốc nhỏ \(\alpha\) (thường là \(0.01\)) chảy qua ở vùng âm: \[f(x) = \max(\alpha x, x)\] Nhờ vậy, ngay cả khi \(x \lt 0\), gradient vẫn giữ mức \(0.01\), giúp nơ-ron có cơ hội tự phục hồi trong các epoch tiếp theo.

4. Chuẩn mực thời đại Transformer: GELU và SiLU

Trong các mô hình Transformer như BERT và GPT bản đầu của OpenAI, ReLU đã nhường chỗ cho GELU (Gaussian Error Linear Unit); LLaMA thì dùng SwiGLU, một biến thể có cổng dựa trên SiLU.

Hàm GELU (Gaussian Error Linear Unit)

Được đề xuất bởi Dan Hendrycks và Kevin Gimpel, GELU kết hợp trực giác giữa tính phi tuyến của ReLU và sự ngẫu nhiên xác suất của Dropout: \[f(x) = x \cdot P(X \le x) = x \cdot \Phi(x)\] Trong đó \(\Phi(x)\) là hàm phân phối tích lũy của phân phối chuẩn tắc Gauss \(\mathcal{N}(0, 1)\).

Hàm \(\Phi(x)\) tính được qua hàm lỗi: \(\Phi(x) = \frac{1}{2}\left(1 + \text{erf}(x/\sqrt{2})\right)\), và torch.nn.GELU của PyTorch mặc định tính đúng công thức này (approximate='none'), code của bài cũng vậy. Khi đặt approximate='tanh', PyTorch dùng công thức xấp xỉ: \[\text{GELU}(x) \approx 0.5 x \left( 1 + \tanh\left(\sqrt{\frac{2}{\pi}} (x + 0.044715 x^3)\right) \right)\]

  • Điểm vượt trội của GELU: GELU là một hàm khả vi mượt mà trên toàn bộ trục số thực (Smooth Curve), không có điểm gấp khúc gắt tại \(0\) như ReLU. Ở vùng âm nhẹ (khoảng \(x \in [-1, 0]\)), đồ thị GELU hơi võng xuống dưới \(0\), cho phép mô hình giữ lại một lượng thông tin âm tinh tế trước khi triệt tiêu dần, giúp Transformer tối ưu hóa trơn tru hơn nhiều.

5. Ví dụ chạy tay so sánh giá trị các hàm kích hoạt

Xét 4 giá trị đầu vào \(x \in \{-2.0, -0.5, 0.0, 1.2\}\):

Giá trị đầu vào \(x\) Sigmoid \(\sigma(x)\) Tanh \(\tanh(x)\) ReLU \(\max(0, x)\) GELU \(\text{GELU}(x)\)
\(-2.0\) \(0.1192\) \(-0.9640\) \(0.0000\) \(-0.0455\)
\(-0.5\) \(0.3775\) \(-0.4621\) \(0.0000\) \(-0.1543\)
\(0.0\) \(0.5000\) \(0.0000\) \(0.0000\) \(0.0000\)
\(1.2\) \(0.7685\) \(0.8337\) \(1.2000\) \(1.0619\)

Nhận xét từ bảng tính:

  • Tại \(x = 0.0\): Sigmoid xuất ra \(0.5\), Tanh và ReLU xuất ra \(0.0\), GELU cũng đi qua gốc tọa độ \(0.0\).
  • Tại \(x = -0.5\): ReLU triệt tiêu tuyệt đối về \(0\), trong khi GELU cho ra giá trị âm nhẹ \(-0.1543\), duy trì dòng gradient cho các nơ-ron này.
  • Tại \(x = 1.2\): ReLU giữ nguyên \(1.2\), GELU đạt \(1.0619\) bám rất sát đường phân giác.

6. Cài đặt các Hàm Kích hoạt bằng Python và C++

import math

def compute_activations(x_arr):
    res = []
    for x in x_arr:
        # Sigmoid
        sig = 1.0 / (1.0 + math.exp(-x))
        # Tanh
        th = math.tanh(x)
        # ReLU
        rel = max(0.0, x)
        # GELU exact (PyTorch default approximate='none'): x * Phi(x) = 0.5 * x * (1 + erf(x / sqrt(2)))
        gelu = 0.5 * x * (1.0 + math.erf(x / math.sqrt(2.0)))
        
        res.extend([round(sig, 4), round(th, 4), round(rel, 4), round(gelu, 4)])
    return res

def solve(case):
    return compute_activations(case)
Học cùng giảng viên

Chủ đề này nằm trong Lecture 14 - Neural Networks của Khóa AI. Xem đề cương

7. Cơ chế Toán học của Hiện tượng Triệt tiêu Đạo hàm (Vanishing Gradient)

Để thấu hiểu tại sao các hàm kích hoạt cổ điển như Sigmoid và Tanh thất bại khi huấn luyện các mạng sâu từ 10 tầng trở lên, chúng ta hãy xem xét quy tắc dây chuyền (Chain Rule) qua \(L\) tầng liên tiếp.

Giả sử mạng có \(L\) tầng ẩn tuyến tính kết hợp hàm kích hoạt \(\sigma(z)\): \[z^{(l)} = W^{(l)} a^{(l-1)} + b^{(l)}, \quad a^{(l)} = \sigma(z^{(l)})\]

Khi lan truyền ngược từ hàm mất mát \(\mathcal{L}\) về tầng ẩn thứ nhất \(l=1\), gradient của hàm mất mát đối với trọng số tầng đầu tiên \(W^{(1)}\) có dạng tích liên tiếp: \[\frac{\partial \mathcal{L}}{\partial W^{(1)}} = \frac{\partial \mathcal{L}}{\partial a^{(L)}} \left( \prod_{l=2}^{L} \frac{\partial a^{(l)}}{\partial z^{(l)}} W^{(l)} \right) \frac{\partial a^{(1)}}{\partial z^{(1)}} \frac{\partial z^{(1)}}{\partial W^{(1)}}\]

Hãy chú ý tới thừa số đạo hàm của hàm kích hoạt \(\frac{\partial a^{(l)}}{\partial z^{(l)}} = \sigma'(z^{(l)})\):

  1. Đối với hàm Sigmoid: \(\sigma'(z) = \sigma(z)(1 - \sigma(z))\). Giá trị cực đại của biểu thức này đạt được tại \(z = 0\), khi đó \(\sigma'(0) = 0.5 \times 0.5 = 0.25\). Như vậy, tại mọi điểm trong không gian, ta luôn có \(\sigma'(z) \le 0.25\).

  2. Hệ quả của phép nhân lũy thừa: Nếu mạng có 10 tầng ẩn và sử dụng Sigmoid, tích các đạo hàm sẽ bị chặn trên bởi: \[\prod_{l=1}^{10} \sigma'(z^{(l)}) \le (0.25)^{10} \approx 9.53 \times 10^{-7}\] Tín hiệu sai số truyền về tới tầng đầu tiên bị thu nhỏ gần một triệu lần! Kết quả là gradient cập nhật \(\nabla_{W^{(1)}} \mathcal{L}\) gần như triệt tiêu hoàn toàn về \(0\). Các trọng số ở những tầng đầu tiên gần như đóng băng, không học được bất kỳ biểu diễn đặc trưng nào từ dữ liệu.

  3. Đối với hàm Tanh: Mặc dù đạo hàm cực đại đạt \(1.0\) tại \(z = 0\), nhưng đạo hàm giảm rất nhanh về \(0\) khi \(|z| \gt 2\). Chỉ cần giá trị kích hoạt hơi lệch khỏi gốc tọa độ, hiện tượng triệt tiêu đạo hàm vẫn diễn ra dữ dội.

  4. Sự vượt trội của ReLU: Đạo hàm của ReLU bằng \(1.0\) cho mọi giá trị \(z \gt 0\): \[\text{ReLU}'(z) = 1, \quad \forall z \gt 0\] Do đó, khi nhân liên tiếp qua nhiều tầng, thừa số đạo hàm của ReLU trong vùng dương luôn bằng \(1.0\), không làm gradient nhỏ dần như Sigmoid. Tuy vậy gradient vẫn nhân với các ma trận trọng số \(W^{(l)}\) ở mỗi tầng nên vẫn có thể suy giảm hoặc bùng nổ; mạng rất sâu còn cần khởi tạo phù hợp, Batch Normalization và kết nối tắt. ReLU giúp AlexNet (8 tầng) và VGG (16–19 tầng) huấn luyện tốt; ResNet đạt 152 tầng nhờ thêm kết nối tắt (residual connection).

8. Hiện tượng Chết nơ-ron (Dying ReLU) và các Biến thể Khắc phục

Mặc dù giải quyết triệt để vấn đề triệt tiêu đạo hàm ở vùng dương, ReLU lại gặp phải một điểm yếu chí mạng ở vùng âm được gọi là Hiện tượng Chết nơ-ron (Dying ReLU Problem).

Khi một nơ-ron nhận giá trị đầu vào âm \(z \lt 0\), giá trị đầu ra của nó bị gán bằng \(0\), và quan trọng hơn, đạo hàm của nó cũng bằng \(0\) tuyệt đối: \[\text{ReLU}'(z) = 0, \quad \forall z \lt 0\]

Nếu trong quá trình huấn luyện, một bước cập nhật với tốc độ học (learning rate) quá lớn khiến vector trọng số bị đẩy sang một vùng mà nơ-ron đó luôn cho ra giá trị \(z \lt 0\) với mọi mẫu dữ liệu trong tập huấn luyện:

  • Tín hiệu kích hoạt của nơ-ron luôn là \(0\).
  • Gradient truyền qua nơ-ron luôn là \(0\).
  • Trọng số của nơ-ron không bao giờ được cập nhật thêm lần nào nữa. Nơ-ron đó đã chính thức "chết" vĩnh viễn và hoàn toàn vô dụng trong mô hình. Trong một số trường hợp cực đoan, tới \(40\%\) số nơ-ron trong mạng có thể bị tê liệt hoàn toàn.

Để khắc phục hiện tượng này, cộng đồng nghiên cứu đã đề xuất các biến thể:

  • Leaky ReLU: Cho phép một dòng rò rỉ gradient nhỏ với hệ số cố định \(\alpha = 0.01\) khi \(z \lt 0\): \(f(z) = \max(0.01z, z)\). Nhờ đó, nơ-ron vẫn có cơ hội nhận tín hiệu gradient để tự hồi phục và thoát khỏi vùng âm.
  • Parametric ReLU (PReLU): Thay vì cố định \(\alpha = 0.01\), mô hình biến \(\alpha\) thành một tham số tự học (learnable parameter), tối ưu hóa linh hoạt theo từng bài toán cụ thể.
  • Exponential Linear Unit (ELU): Sử dụng hàm mũ mượt mà ở vùng âm \(f(z) = \alpha(e^z - 1)\) khi \(z \lt 0\), giúp giá trị trung bình kích hoạt gần \(0\) hơn, từ đó tăng tốc độ hội tụ.
  • GELU (Gaussian Error Linear Unit): Kết hợp ý tưởng điều tiết ngẫu nhiên của Dropout và tính phi tuyến, tạo ra một đường cong mượt mà khả vi vô hạn, được dùng trong nhiều mô hình Transformer như BERT và GPT (LLaMA dùng SwiGLU).

9. Bảng tổng hợp so sánh các Hàm Kích hoạt

Hàm kích hoạt Miền giá trị Đạo hàm cực đại Khắc phục Vanishing Gradient? Vị trí khuyến nghị sử dụng
Sigmoid \((0, 1)\) \(0.25\) Không Chỉ dùng ở tầng đầu ra nhị phân
Tanh \((-1, 1)\) \(1.00\) Không Giá trị ứng viên và trạng thái ẩn trong LSTM, GRU
ReLU \([0, \infty)\) \(1.00\) Có (vùng dương) Mặc định cho tầng ẩn CNN, MLP
Leaky ReLU \((-\infty, \infty)\) \(1.00\) Có Khi mạng bị hiện tượng Dying ReLU
GELU \([-0.17, \infty)\) \(\approx 1.13\) Có Phổ biến trong Transformer (BERT, GPT)

10. Hàm Kích hoạt Swish và SiLU: Đột phá Tìm kiếm Tự động bằng AI

Bên cạnh sự thống trị của GELU trong các kiến trúc Transformer ngôn ngữ, hàm kích hoạt Swish (còn được gọi là SiLU - Sigmoid Linear Unit) chính là một điểm sáng rực rỡ trong lĩnh vực thị giác máy tính hiện đại. Hàm \(x \cdot \sigma(x)\) (SiLU) được Hendrycks và Gimpel đặt tên từ năm 2016 trong bài báo GELU; năm 2017, các nhà nghiên cứu Google Brain tìm lại nó ở dạng tổng quát \(x \cdot \sigma(\beta x)\), đặt tên Swish, bằng kỹ thuật tìm kiếm tự động (kết hợp tìm kiếm vét cạn và học tăng cường).

Hàm Swish được định nghĩa bởi công thức: f(x) = x nhân với hàm Sigmoid(beta nhân x), trong đó beta là một hằng số cố định hoặc một tham số tự học trong quá trình huấn luyện.

Về mặt đặc tính hình học, Swish sở hữu sự tương đồng đáng kinh ngạc với GELU: Thứ nhất, nó là một đường cong mượt mà khả vi vô hạn tại mọi điểm trên trục số thực, hoàn toàn không có điểm gấp khúc đột ngột tại gốc tọa độ như hàm ReLU. Thứ hai, hàm số không bị chặn trên ở vùng dương, giúp loại bỏ hoàn toàn hiện tượng bão hòa đạo hàm khi tín hiệu đầu vào lớn. Thứ ba, hàm số bị chặn dưới ở vùng âm với một đáy trũng nhẹ tiệm cận giá trị âm 0.28, cho phép một dòng rò rỉ gradient nhỏ đi qua để duy trì khả năng học tập của các nơ-ron mang giá trị âm nhỏ. Thứ tư, tính chất phi đơn điệu (Non-monotonicity) độc đáo giúp tạo ra một vùng điều tiết tín hiệu tự nhiên quanh gốc tọa độ.

Nhờ những đặc tính toán học ưu việt này, Swish được dùng thay ReLU trong nhiều kiến trúc thị giác máy tính như EfficientNet của Google và dòng mô hình nhận diện vật thể YOLO của Ultralytics từ YOLOv8 trở đi. Theo bài báo gốc (Ramachandran và cộng sự, 2017), chỉ cần thay ReLU bằng Swish đã tăng độ chính xác Top-1 trên ImageNet thêm 0,9% với Mobile NASNet-A và 0,6% với Inception-ResNet-v2.

11. Hướng dẫn Chiến lược Lựa chọn Hàm Kích hoạt trong Thực tế Dự án

Để giúp các kỹ sư xây dựng mô hình nhanh chóng đưa ra quyết định chuẩn xác, dưới đây là hướng dẫn chiến lược lựa chọn hàm kích hoạt cho từng bối cảnh cụ thể:

  1. Đối với tầng ẩn của các mạng thị giác máy tính CNN và MLP cơ bản: ReLU luôn là sự lựa chọn ưu tiên hàng đầu nhờ tốc độ tính toán phần cứng GPU cực nhanh. Nếu phát hiện mạng gặp hiện tượng chết nơ-ron Dying ReLU, hãy chuyển sang Leaky ReLU hoặc PReLU.
  2. Đối với các kiến trúc mạng hiện đại đòi hỏi độ chính xác cao nhất: Lựa chọn GELU cho các mô hình Transformer, xử lý ngôn ngữ tự nhiên LLM và Vision Transformer; lựa chọn Swish hoặc SiLU cho các mô hình thị giác CNN thế hệ mới như EfficientNet và YOLO.
  3. Đối với tầng đầu ra của mô hình phân loại: Sử dụng hàm Sigmoid cho bài toán phân loại nhị phân độc lập hoặc phân loại đa nhãn (Multi-label); sử dụng hàm Softmax cho bài toán phân loại đa lớp loại trừ lẫn nhau (Multi-class).
  4. Đối với tầng đầu ra của bài toán hồi quy: Thông thường không sử dụng hàm kích hoạt (Linear Activation) để giá trị dự đoán có thể trải rộng tự do trên toàn bộ trục số thực; nếu bài toán đòi hỏi giá trị đầu ra bắt buộc phải dương (như đếm số lượng người hoặc ước tính giá trị tài sản), có thể sử dụng hàm ReLU hoặc hàm Exponential ở tầng cuối cùng.

12. Hiện tượng Zig-zag Gradient và Ưu thế Đối xứng qua Gốc của Hàm Tanh

Một nhược điểm toán học tinh vi nhưng gây hậu quả nặng nề của hàm Sigmoid là đặc tính không đối xứng qua gốc tọa độ (Not Zero-Centered). Miền giá trị của Sigmoid luôn nằm hoàn toàn trong khoảng dương từ 0 đến 1.

Điều này dẫn đến hiện tượng gì trong quá trình lan truyền ngược? Xét một nơ-ron nhận đầu vào từ tầng trước là vector a. Khi lan truyền ngược, đạo hàm của hàm mất mát đối với vector trọng số W có dạng: tích của đạo hàm tầng sau nhân với vector đầu vào a. Vì tất cả các phần tử trong vector a luôn là số dương (do đi qua hàm Sigmoid), dấu của mọi thành phần trong vector gradient cập nhật cho trọng số W sẽ hoàn toàn bị chi phối bởi dấu của đạo hàm tầng sau!

Nếu đạo hàm tầng sau là số dương, toàn bộ các trọng số trong ma trận W đều bị ép phải tăng giá trị đồng thời; ngược lại nếu đạo hàm là số âm, toàn bộ các trọng số đều bị ép phải giảm giá trị đồng thời. Thuật toán tối ưu hóa không thể cập nhật một số trọng số tăng lên trong khi các trọng số khác giảm đi trong cùng một bước lặp. Hậu quả là quỹ đạo cập nhật của Gradient Descent bị uốn lượn theo hình zíc-zắc (Zig-zagging Path) cực kỳ kém hiệu quả, làm chậm tốc độ hội tụ của mô hình đi hàng chục lần.

Hàm Tanh giải quyết triệt để vấn đề này nhờ miền giá trị trải đều từ âm 1 đến dương 1 với tâm đối xứng chính xác tại gốc tọa độ 0. Nhờ đó, tín hiệu đầu ra trung bình có kỳ vọng gần bằng 0, giúp các thành phần gradient có thể mang dấu âm hoặc dương độc lập và linh hoạt, đẩy nhanh tốc độ hội tụ của mạng nơ-ron lên gấp nhiều lần so với Sigmoid.

13. Kỹ thuật Ổn định Số học Log-Sum-Exp cho Hàm Softmax

Khi mở rộng bài toán phân loại từ hai lớp lên nhiều lớp, hàm kích hoạt Softmax là chuẩn mực không thể thay thế ở tầng đầu ra cuối cùng để chuyển đổi vector điểm số logit thành một phân phối xác suất hợp lệ có tổng bằng 1.

Tuy nhiên, khi lập trình hàm Softmax trong thực tế, các kỹ sư thường gặp phải lỗi tràn số trên số học (Numerical Overflow) vô cùng nghiêm trọng. Hàm Softmax sử dụng hàm mũ tự nhiên e mũ z. Trong tiêu chuẩn biểu diễn số thực IEEE 754 của máy tính, giá trị e mũ 710 sẽ vượt quá giới hạn biểu diễn lớn nhất của số thực 64-bit và tự động biến thành giá trị vô cực vô hướng (inf). Khi lấy vô cực chia cho vô cực, kết quả trả về sẽ là giá trị NaN (Not a Number), làm nổ tung toàn bộ mạng nơ-ron chỉ sau một bước cập nhật!

Để bảo đảm tính ổn định số học tuyệt đối, các thư viện Deep Learning như PyTorch luôn áp dụng Kỹ thuật Log-Sum-Exp Trick. Bản chất của kỹ thuật này là khai thác tính bất biến khi tịnh tiến của hàm Softmax: nếu ta trừ đi một hằng số c từ tất cả các phần tử trong vector z, giá trị xác suất Softmax hoàn toàn không thay đổi! Bằng cách chọn hằng số c chính bằng giá trị lớn nhất trong vector z, phần tử lớn nhất sau khi trừ sẽ bằng 0, và mọi phần tử khác đều là số âm hoặc bằng 0. Do đó, hàm mũ của mọi phần tử đều bị chặn trên bởi giá trị 1.0, loại bỏ hoàn toàn 100% rủi ro bị tràn số vô cực và bảo đảm mô hình luôn tính toán trơn tru trên mọi phần cứng máy tính.

14. Câu hỏi thường gặp

Tại sao không dùng Sigmoid ở các tầng ẩn của mạng sâu?

Vì hiện tượng triệt tiêu đạo hàm (Vanishing Gradient). Đạo hàm của Sigmoid tối đa chỉ đạt \(0.25\) và rất nhanh chóng tiệm cận \(0\) khi giá trị kích hoạt lớn hoặc nhỏ. Khi mạng có từ 5 tầng trở lên, sai số từ hàm mất mát truyền ngược về tầng đầu tiên sẽ bị nhân liên tiếp với các số nhỏ hơn \(0.25\), khiến gradient bị tiêu biến gần như bằng \(0\). Trọng số ở các tầng đầu sẽ không thể cập nhật, khiến toàn bộ tiềm năng học tập của mạng sâu bị vô hiệu hóa hoàn toàn.

Có thể tự thiết kế một hàm kích hoạt mới không?

Hoàn toàn có thể. Về mặt lý thuyết, bất kỳ hàm số phi tuyến, khả vi hầu khắp nơi (differentiable almost everywhere) và không đồng nhất với hàm tuyến tính đều có thể dùng làm hàm kích hoạt. Tuy nhiên, một hàm kích hoạt tốt trong thực tế cần thỏa mãn: tính toán nhanh trên GPU, không làm bùng nổ phương sai tín hiệu, và duy trì dòng chảy gradient lành mạnh qua nhiều tầng mạng.

Muốn học bài bản cùng giảng viên?

Khóa AI – Introduction to Machine Learning: nền tảng Máy học từ thuật toán cơ bản đến Neural Networks và LLM, học bằng Python. Học thử buổi 1 miễn phí.

Xem Khóa AI

Nguồn tham khảo

Chia sẻ: Facebook LinkedIn
Nhắn Zalo tư vấnZalo Gọi 0937 401 483