Xác suất thống kê

This content is not available in your language yet.

Mục tiêu

Sau bài này, bạn sẽ:

Phân biệt rõ ràng giữa biến ngẫu nhiên rời rạc và liên tục, hiểu bản chất của hàm khối xác suất (PMF) và hàm mật độ xác suất (PDF).
Nắm vững các phân phối xác suất cốt lõi trong AI: phân phối chuẩn Gaussian, phân phối Bernoulli và Uniform, cùng ý nghĩa của Định lý giới hạn trung tâm.
Làm chủ các đại lượng thống kê: kỳ vọng (Expectation / Mean), phương sai (Variance), độ lệch chuẩn (Standard Deviation) và hiệp phương sai (Covariance).
Hiểu sâu sắc Định lý Bayes (Bayes’ Theorem) để cập nhật niềm tin từ dữ liệu quan sát, và tránh được cạm bẫy dương tính giả.
Hiểu phương pháp Ước lượng hợp lý cực đại (Maximum Likelihood Estimation - MLE) và chứng minh được nguồn gốc xác suất của hai hàm mất mát kinh điển: MSE và Cross-Entropy.

Cần biết trước

Calculus, in Math for AI(Not translated yet) (Learned)

Trực giác

Thế giới thực chứa đầy sự không chắc chắn (uncertainty) và nhiễu (noise):

Một cảm biến nhiệt độ không bao giờ đo ra cùng một con số tuyệt đối trong môi trường ổn định; nó luôn dao động nhẹ quanh nhiệt độ thật.
Khi người dùng nhấp vào một quảng cáo trực tuyến, ta không thể biết chắc 100% họ có mua hàng hay không; ta chỉ có thể dự đoán một xác suất.
Mô hình nhận diện chữ viết tay nhìn thấy chữ số “8” bị nhòe: nó không khẳng định chắc nịch mà đưa ra phân phối: $85\%$ là số 8, $12\%$ là số 3, $3\%$ là số 0.

Xác suất thống kê chính là ngôn ngữ toán học giúp AI định lượng sự bất định, mô hình hóa nhiễu thực tế và đưa ra quyết định tối ưu dựa trên bằng chứng dữ liệu có hạn.

Lý thuyết

1. Biến Ngẫu Nhiên: Rời Rạc và Liên Tục

Một biến ngẫu nhiên (random variable) $X$ là một quy tắc gán một giá trị số cho mỗi kết quả ngẫu nhiên trong không gian mẫu.

Biến Ngẫu Nhiên Rời Rạc (Discrete)

Nhận các giá trị riêng biệt (đếm được), ví dụ nhãn phân loại $y \in \{0, 1, 2\}$ hoặc số token trong một câu.

Được mô tả bởi hàm khối xác suất (Probability Mass Function - PMF): $p(x) = P(X = x)$ .
Tổng xác suất trên toàn bộ không gian mẫu luôn bằng 1: $\sum_{x} P(X = x) = 1, \quad 0 \le P(X = x) \le 1$

Biến Ngẫu Nhiên Liên Tục (Continuous)

Nhận giá trị trong một khoảng liên tục trên trục số thực $\mathbb{R}$ , ví dụ giá nhà, thời gian chạy, trọng lượng.

Được mô tả bởi hàm mật độ xác suất (Probability Density Function - PDF), ký hiệu $f(x)$ .
Diện tích dưới toàn bộ đường cong PDF bằng 1: $\int_{-\infty}^{+\infty} f(x) \, dx = 1, \quad f(x) \ge 0$
Lưu ý cốt tử: Xác suất tại một điểm chính xác $P(X = x_0) = 0$ ! Xác suất chỉ có nghĩa khi xét trên một khoảng $[a, b]$ : $P(a \le X \le b) = \int_a^b f(x) \, dx$

2. Các Phân Phối Cốt Lõi Trong AI

Phân Phối Chuẩn Gaussian ( $\mathcal{N}(\mu, \sigma^2)$ )

Phân phối hình chuông đối xứng đặc trưng, hoàn toàn được xác định bởi hai tham số: kỳ vọng $\mu$ (tâm chuông) và phương sai $\sigma^2$ (độ bè của chuông):

f(x) = \frac{1}{\sigma \sqrt{2\pi}} \exp\left( -\frac{(x - \mu)^2}{2\sigma^2} \right)

Định lý giới hạn trung tâm (Central Limit Theorem): Tổng của một số lượng lớn các biến ngẫu nhiên độc lập bất kỳ (dù bản thân chúng có phân phối gì) sẽ dần hội tụ về phân phối chuẩn Gaussian. Đây là lý do vì sao hầu hết các loại nhiễu tự nhiên và sai số đo lường trong học máy đều được mô hình hóa bằng phân phối chuẩn.

Phân Phối Bernoulli

Mô tả một phép thử nhị phân với hai kết quả: thành công ( $y = 1$ ) với xác suất $p$ , và thất bại ( $y = 0$ ) với xác suất $1 - p$ :

P(Y = y) = p^y (1 - p)^{1 - y}, \quad y \in \{0, 1\}

Đây chính là phân phối nền tảng của bài toán phân loại nhị phân và hàm mất mát Binary Cross-Entropy.

3. Kỳ Vọng, Phương Sai và Hiệp Phương Sai

Kỳ vọng (Expectation / Mean $\mathbb{E}[X]$ hay $\mu$ ): Giá trị trung bình theo trọng số xác suất của biến ngẫu nhiên. Với biến liên tục: $\mathbb{E}[X] = \int_{-\infty}^{+\infty} x f(x) \, dx$ ; với biến rời rạc: $\mathbb{E}[X] = \sum x p(x)$ .
Phương sai (Variance $\mathrm{Var}(X)$ hay $\sigma^2$ ): Đo lường mức độ phân tán của dữ liệu xung quanh giá trị kỳ vọng: $\mathrm{Var}(X) = \mathbb{E}\left[(X - \mathbb{E}[X])^2\right] = \mathbb{E}[X^2] - (\mathbb{E}[X])^2$
Độ lệch chuẩn (Standard Deviation $\sigma$ ): Căn bậc hai của phương sai: $\sigma = \sqrt{\mathrm{Var}(X)}$ , có cùng đơn vị đo lường với dữ liệu gốc.
Hiệp phương sai (Covariance $\mathrm{Cov}(X, Y)$ ): Đo lường mức độ biến thiên cùng chiều hay ngược chiều giữa hai biến ngẫu nhiên: $\mathrm{Cov}(X, Y) = \mathbb{E}\left[(X - \mu_X)(Y - \mu_Y)\right]$ Nếu $\mathrm{Cov}(X, Y) > 0$ , khi $X$ tăng thì $Y$ có xu hướng tăng theo.

4. Định Lý Bayes: Cập Nhật Niềm Tin Từ Bằng Chứng

Xác suất có điều kiện $P(A \mid B)$ là xác suất xảy ra biến cố $A$ khi ta biết chắc chắn biến cố $B$ đã xảy ra:

P(A \mid B) = \frac{P(A \cap B)}{P(B)}

Từ định nghĩa này, Định lý Bayes (Bayes’ Theorem) cho phép ta đảo ngược điều kiện suy luận:

P(\theta \mid \mathcal{D}) = \frac{P(\mathcal{D} \mid \theta) P(\theta)}{P(\mathcal{D})}

Trong học máy và thống kê suy luận Bayes:

$P(\theta)$ : Xác suất tiên nghiệm (Prior) — niềm tin ban đầu của chúng ta về tham số $\theta$ trước khi quan sát dữ liệu.
$P(\mathcal{D} \mid \theta)$ : Độ hợp lý (Likelihood) — xác suất xuất hiện tập dữ liệu $\mathcal{D}$ nếu tham số thật sự là $\theta$ .
$P(\theta \mid \mathcal{D})$ : Xác suất hậu nghiệm (Posterior) — niềm tin được cập nhật về $\theta$ sau khi đã quan sát thấy dữ liệu $\mathcal{D}$ .
$P(\mathcal{D})$ : Bằng chứng (Evidence) — hằng số chuẩn hóa đảm bảo tổng xác suất bằng 1.

5. Ước Lượng Hợp Lý Cực Đại (Maximum Likelihood Estimation - MLE)

Giả sử ta thu thập được tập dữ liệu gồm $m$ mẫu độc lập $\mathcal{D} = \{x^{(1)}, x^{(2)}, \dots, x^{(m)}\}$ . Câu hỏi đặt ra là: Bộ tham số $\boldsymbol{\theta}$ nào có khả năng cao nhất đã sinh ra tập dữ liệu này?

Hàm độ hợp lý (Likelihood function) là tích xác suất của tất cả các mẫu:

L(\boldsymbol{\theta}) = \prod_{i=1}^m p(x^{(i)} \mid \boldsymbol{\theta})

Để tránh việc nhân các số cực nhỏ gây tràn dưới số thực (numerical underflow) và để đơn giản hóa phép lấy đạo hàm, ta lấy logarit tự nhiên để chuyển sang hàm Log-Likelihood:

\ell(\boldsymbol{\theta}) = \ln L(\boldsymbol{\theta}) = \sum_{i=1}^m \ln p(x^{(i)} \mid \boldsymbol{\theta})

Nghiệm ước lượng hợp lý cực đại là tham số làm cực đại hóa hàm này:

\hat{\boldsymbol{\theta}}_{\text{MLE}} = \arg\max_{\boldsymbol{\theta}} \sum_{i=1}^m \ln p(x^{(i)} \mid \boldsymbol{\theta})

Nguồn Gốc Toán Học Của MSE và Cross-Entropy

Nguồn gốc hàm mất mát MSE: Giả sử mô hình dự đoán $\hat{y}^{(i)} = f(\mathbf{x}^{(i)})$ và nhãn thật bị nhiễu bởi phân phối Gaussian: $y^{(i)} \sim \mathcal{N}(\hat{y}^{(i)}, \sigma^2)$ . Log-likelihood của tập dữ liệu là:
$\ell = \sum_{i=1}^m \ln \left( \frac{1}{\sigma \sqrt{2\pi}} \exp\left(-\frac{(y^{(i)} - \hat{y}^{(i)})^2}{2\sigma^2}\right) \right) = -m \ln(\sigma \sqrt{2\pi}) - \frac{1}{2\sigma^2} \sum_{i=1}^m (y^{(i)} - \hat{y}^{(i)})^2$
Cực đại hóa $\ell$ tương đương với việc cực tiểu hóa tổng bình phương sai số $\sum (y^{(i)} - \hat{y}^{(i)})^2$ — chính là hàm mất mát MSE!
Nguồn gốc hàm mất mát Cross-Entropy: Giả sử nhãn phân loại nhị phân $y^{(i)} \in \{0, 1\}$ tuân theo phân phối Bernoulli với xác suất dự đoán $\hat{y}^{(i)} = P(Y=1)$ . Log-likelihood là:
$\ell = \sum_{i=1}^m \left[ y^{(i)} \ln \hat{y}^{(i)} + (1 - y^{(i)}) \ln(1 - \hat{y}^{(i)}) \right]$
Đổi dấu (cực tiểu hóa $-\ell$ ) cho ta chính xác công thức Binary Cross-Entropy Loss!

Giới hạn

Giả định độc lập (i.i.d): MLE giả định các mẫu dữ liệu độc lập và cùng phân phối (Independent and Identically Distributed). Với dữ liệu văn bản hay chuỗi thời gian (như giá cổ phiếu), các bước sau phụ thuộc mạnh vào bước trước, đòi hỏi mô hình tự hồi quy phức tạp hơn.
Học vẹt khi dữ liệu ít (Overfitting): Nếu bạn tung đồng xu 3 lần và cả 3 lần đều ngửa, MLE sẽ kết luận xác suất ngửa là $100\%$ ( $\hat{p}_{\text{MLE}} = 1.0$ ). Lúc này, suy luận Bayes với một phân phối tiên nghiệm hợp lý (MAP) sẽ giúp hạn chế kết luận cực đoan.

Minh họa

Sơ đồ trực quan dưới đây so sánh cấu trúc phân phối Gaussian và cây quyết định xác suất trong Định lý Bayes:

1. PHÂN PHỐI CHUẨN GAUSSIAN N(μ, σ²):
            f(x)
             ▲          Điểm đỉnh tại x = μ
             │              ╭───╮
             │             ╭╯   ╰╮
             │            ╭╯     ╰╮    Vùng [μ - σ, μ + σ]
             │          ╭─╯       ╰─╮  chứa khoảng 68.2% dữ liệu!
             │      ───╯             ╰───
             └───────────┼────┼────┼──────────► x
                       μ-σ    μ   μ+σ

2. ĐỊNH LÝ BAYES TRONG CHẨN ĐOÁN (BASE RATE FALLACY):
    10,000 Người trong cộng đồng
      ├── 1% Mắc bệnh (100 người) ──► Xét nghiệm đúng 95% ──► 95 Dương tính thật
      └── 99% Khỏe mạnh (9,900 người) ──► Dương tính giả 5% ─► 495 Dương tính giả
    ==> Nhóm dương tính có 95 + 495 = 590 người, chỉ có 95 người thực sự có bệnh!

Ví dụ code

Các ô dưới đây chạy độc lập. Ô đầu tiên lần đầu chạy có thể lâu hơn vài giây vì trình duyệt cần tải thư viện scipy và matplotlib.

Ô đầu tiên sinh 5000 mẫu ngẫu nhiên từ phân phối Gaussian $\mathcal{N}(2.0, 1.5^2)$ , tính kỳ vọng và phương sai thực nghiệm, sau đó vẽ biểu đồ tần suất cùng đường cong mật độ lý thuyết (PDF).

Mô phỏng phân phối Gaussian, tính kỳ vọng và vẽ hàm mật độ PDF

import matplotlib.pyplot as plt
import numpy as np
from scipy import stats

# Thiết lập tham số phân phối chuẩn: kỳ vọng mu và độ lệch chuẩn sigma
mu, sigma = 2.0, 1.5
rng = np.random.default_rng(42)
samples = rng.normal(loc=mu, scale=sigma, size=5000)

# Kỳ vọng và phương sai thực nghiệm (empirical) từ mẫu ngẫu nhiên
emp_mean = np.mean(samples)
emp_var = np.var(samples)

# In so sánh giữa giá trị lý thuyết và kết quả thực nghiệm
print(f"Theoretical mean: {mu:.4f} | Empirical: {emp_mean:.4f}")
print(f"Theoretical var : {sigma**2:.4f} | Empirical: {emp_var:.4f}")

# Tạo lưới điểm tính hàm mật độ xác suất (PDF) bằng SciPy
x = np.linspace(mu - 4.0 * sigma, mu + 4.0 * sigma, 200)
pdf = stats.norm.pdf(x, loc=mu, scale=sigma)

# Vẽ biểu đồ phân bố mẫu cùng đường cong mật độ lý thuyết
fig, ax = plt.subplots(figsize=(6, 3.5))
ax.hist(samples, bins=50, density=True, alpha=0.5, label="Samples hist")
ax.plot(x, pdf, "r-", lw=2, label="Theoretical PDF")
ax.set_title("Gaussian Distribution N(2.0, 1.5^2)")
ax.set_xlabel("x")
ax.set_ylabel("Probability Density")
ax.legend()
plt.tight_layout()
plt.show()

The first run downloads Python, about 10 MB.

Kết quả in ra cho thấy:

Kỳ vọng lý thuyết $\mu = 2.0000$ , kỳ vọng thực nghiệm tính từ 5000 mẫu ngẫu nhiên đạt $1.9702$ .
Phương sai lý thuyết $\sigma^2 = 1.5^2 = 2.2500$ , phương sai thực nghiệm đạt $2.2471$ .
Cả hai đại lượng thực nghiệm đều tiệm cận rất sát giá trị lý thuyết, minh chứng cho quy luật số lớn (Law of Large Numbers).

Ô thứ hai giải bài toán chẩn đoán y khoa bằng Định lý Bayes (tính xác suất hậu nghiệm $P(D \mid +)$ với $D$ là biến cố mắc bệnh) và minh họa thuật toán ước lượng hợp lý cực đại MLE cho phân phối Bernoulli.

Tính xác suất hậu nghiệm Bayes và ước lượng MLE Bernoulli

import numpy as np

# 1. Định lý Bayes trong bài toán chẩn đoán y khoa
p_disease = 0.01
p_pos_given_d = 0.95
p_pos_given_nod = 0.05

# Tính xác suất toàn phần P(+) và xác suất hậu nghiệm P(D|+)
p_pos = p_pos_given_d * p_disease + p_pos_given_nod * (1.0 - p_disease)
p_disease_given_pos = (p_pos_given_d * p_disease) / p_pos

# In kết quả suy luận Bayes
print(f"Total positive P(+)  : {p_pos:.4f}")
print(f"Posterior P(D|+)     : {p_disease_given_pos:.4f}")

# 2. Ước lượng hợp lý cực đại (MLE) cho phân phối Bernoulli
data = np.array([1, 1, 1, 0, 1, 1, 0, 1, 1, 1])
k = np.sum(data)
n = len(data)
p_mle = k / n

# Tính Log-Likelihood tại nghiệm tối ưu p_mle và tại giá trị đối chứng 0.5
log_lik_mle = k * np.log(p_mle) + (n - k) * np.log(1.0 - p_mle)
log_lik_half = k * np.log(0.5) + (n - k) * np.log(0.5)

# In kết quả ước lượng hợp lý cực đại
print(f"MLE parameter (p_hat): {p_mle:.4f}")
print(f"Log-lik at p_mle     : {log_lik_mle:.4f}")
print(f"Log-lik at p=0.5     : {log_lik_half:.4f}")