Bỏ qua để đến nội dung

Xác suất thống kê

Sau bài này, bạn sẽ:

  • Phân biệt rõ ràng giữa biến ngẫu nhiên rời rạc và liên tục, hiểu bản chất của hàm khối xác suất (PMF) và hàm mật độ xác suất (PDF).
  • Nắm vững các phân phối xác suất cốt lõi trong AI: phân phối chuẩn Gaussian, phân phối Bernoulli và Uniform, cùng ý nghĩa của Định lý giới hạn trung tâm.
  • Làm chủ các đại lượng thống kê: kỳ vọng (Expectation / Mean), phương sai (Variance), độ lệch chuẩn (Standard Deviation) và hiệp phương sai (Covariance).
  • Hiểu sâu sắc Định lý Bayes (Bayes’ Theorem) để cập nhật niềm tin từ dữ liệu quan sát, và tránh được cạm bẫy dương tính giả.
  • Hiểu phương pháp Ước lượng hợp lý cực đại (Maximum Likelihood Estimation - MLE) và chứng minh được nguồn gốc xác suất của hai hàm mất mát kinh điển: MSE và Cross-Entropy.
  • Giải tích, thuộc phần Toán cho AI (Đã học)

Thế giới thực chứa đầy sự không chắc chắn (uncertainty) và nhiễu (noise):

  • Một cảm biến nhiệt độ không bao giờ đo ra cùng một con số tuyệt đối trong môi trường ổn định; nó luôn dao động nhẹ quanh nhiệt độ thật.
  • Khi người dùng nhấp vào một quảng cáo trực tuyến, ta không thể biết chắc 100% họ có mua hàng hay không; ta chỉ có thể dự đoán một xác suất.
  • Mô hình nhận diện chữ viết tay nhìn thấy chữ số “8” bị nhòe: nó không khẳng định chắc nịch mà đưa ra phân phối: 85%85\% là số 8, 12%12\% là số 3, 3%3\% là số 0.

Xác suất thống kê chính là ngôn ngữ toán học giúp AI định lượng sự bất định, mô hình hóa nhiễu thực tế và đưa ra quyết định tối ưu dựa trên bằng chứng dữ liệu có hạn.

1. Biến Ngẫu Nhiên: Rời Rạc và Liên Tục

Phần tiêu đề “1. Biến Ngẫu Nhiên: Rời Rạc và Liên Tục”

Một biến ngẫu nhiên (random variable) XX là một quy tắc gán một giá trị số cho mỗi kết quả ngẫu nhiên trong không gian mẫu.

Nhận các giá trị riêng biệt (đếm được), ví dụ nhãn phân loại y∈{0,1,2}y \in \{0, 1, 2\} hoặc số token trong một câu.

  • Được mô tả bởi hàm khối xác suất (Probability Mass Function - PMF): p(x)=P(X=x)p(x) = P(X = x).
  • Tổng xác suất trên toàn bộ không gian mẫu luôn bằng 1: ∑xP(X=x)=1,0≤P(X=x)≤1\sum_{x} P(X = x) = 1, \quad 0 \le P(X = x) \le 1

Nhận giá trị trong một khoảng liên tục trên trục số thực R\mathbb{R}, ví dụ giá nhà, thời gian chạy, trọng lượng.

  • Được mô tả bởi hàm mật độ xác suất (Probability Density Function - PDF), ký hiệu f(x)f(x).
  • Diện tích dưới toàn bộ đường cong PDF bằng 1: ∫−∞+∞f(x) dx=1,f(x)≥0\int_{-\infty}^{+\infty} f(x) \, dx = 1, \quad f(x) \ge 0
  • Lưu ý cốt tử: Xác suất tại một điểm chính xác P(X=x0)=0P(X = x_0) = 0! Xác suất chỉ có nghĩa khi xét trên một khoảng [a,b][a, b]: P(a≤X≤b)=∫abf(x) dxP(a \le X \le b) = \int_a^b f(x) \, dx

Phân Phối Chuẩn Gaussian (N(μ,σ2)\mathcal{N}(\mu, \sigma^2))

Phần tiêu đề “Phân Phối Chuẩn Gaussian (N(μ,σ2)\mathcal{N}(\mu, \sigma^2)N(μ,σ2))”

Phân phối hình chuông đối xứng đặc trưng, hoàn toàn được xác định bởi hai tham số: kỳ vọng μ\mu (tâm chuông) và phương sai σ2\sigma^2 (độ bè của chuông):

f(x)=1σ2πexp⁡(−(x−μ)22σ2)f(x) = \frac{1}{\sigma \sqrt{2\pi}} \exp\left( -\frac{(x - \mu)^2}{2\sigma^2} \right)

Định lý giới hạn trung tâm (Central Limit Theorem): Tổng của một số lượng lớn các biến ngẫu nhiên độc lập bất kỳ (dù bản thân chúng có phân phối gì) sẽ dần hội tụ về phân phối chuẩn Gaussian. Đây là lý do vì sao hầu hết các loại nhiễu tự nhiên và sai số đo lường trong học máy đều được mô hình hóa bằng phân phối chuẩn.

Mô tả một phép thử nhị phân với hai kết quả: thành công (y=1y = 1) với xác suất pp, và thất bại (y=0y = 0) với xác suất 1−p1 - p:

P(Y=y)=py(1−p)1−y,y∈{0,1}P(Y = y) = p^y (1 - p)^{1 - y}, \quad y \in \{0, 1\}

Đây chính là phân phối nền tảng của bài toán phân loại nhị phân và hàm mất mát Binary Cross-Entropy.


3. Kỳ Vọng, Phương Sai và Hiệp Phương Sai

Phần tiêu đề “3. Kỳ Vọng, Phương Sai và Hiệp Phương Sai”
  • Kỳ vọng (Expectation / Mean E[X]\mathbb{E}[X] hay μ\mu): Giá trị trung bình theo trọng số xác suất của biến ngẫu nhiên. Với biến liên tục: E[X]=∫−∞+∞xf(x) dx\mathbb{E}[X] = \int_{-\infty}^{+\infty} x f(x) \, dx; với biến rời rạc: E[X]=∑xp(x)\mathbb{E}[X] = \sum x p(x).
  • Phương sai (Variance Var(X)\mathrm{Var}(X) hay σ2\sigma^2): Đo lường mức độ phân tán của dữ liệu xung quanh giá trị kỳ vọng: Var(X)=E[(X−E[X])2]=E[X2]−(E[X])2\mathrm{Var}(X) = \mathbb{E}\left[(X - \mathbb{E}[X])^2\right] = \mathbb{E}[X^2] - (\mathbb{E}[X])^2
  • Độ lệch chuẩn (Standard Deviation σ\sigma): Căn bậc hai của phương sai: σ=Var(X)\sigma = \sqrt{\mathrm{Var}(X)}, có cùng đơn vị đo lường với dữ liệu gốc.
  • Hiệp phương sai (Covariance Cov(X,Y)\mathrm{Cov}(X, Y)): Đo lường mức độ biến thiên cùng chiều hay ngược chiều giữa hai biến ngẫu nhiên: Cov(X,Y)=E[(X−μX)(Y−μY)]\mathrm{Cov}(X, Y) = \mathbb{E}\left[(X - \mu_X)(Y - \mu_Y)\right] Nếu Cov(X,Y)>0\mathrm{Cov}(X, Y) > 0, khi XX tăng thì YY có xu hướng tăng theo.

4. Định Lý Bayes: Cập Nhật Niềm Tin Từ Bằng Chứng

Phần tiêu đề “4. Định Lý Bayes: Cập Nhật Niềm Tin Từ Bằng Chứng”

Xác suất có điều kiện P(A∣B)P(A \mid B) là xác suất xảy ra biến cố AA khi ta biết chắc chắn biến cố BB đã xảy ra:

P(A∣B)=P(A∩B)P(B)P(A \mid B) = \frac{P(A \cap B)}{P(B)}

Từ định nghĩa này, Định lý Bayes (Bayes’ Theorem) cho phép ta đảo ngược điều kiện suy luận:

P(θ∣D)=P(D∣θ)P(θ)P(D)P(\theta \mid \mathcal{D}) = \frac{P(\mathcal{D} \mid \theta) P(\theta)}{P(\mathcal{D})}

Trong học máy và thống kê suy luận Bayes:

  • P(θ)P(\theta): Xác suất tiên nghiệm (Prior) — niềm tin ban đầu của chúng ta về tham số θ\theta trước khi quan sát dữ liệu.
  • P(D∣θ)P(\mathcal{D} \mid \theta): Độ hợp lý (Likelihood) — xác suất xuất hiện tập dữ liệu D\mathcal{D} nếu tham số thật sự là θ\theta.
  • P(θ∣D)P(\theta \mid \mathcal{D}): Xác suất hậu nghiệm (Posterior) — niềm tin được cập nhật về θ\theta sau khi đã quan sát thấy dữ liệu D\mathcal{D}.
  • P(D)P(\mathcal{D}): Bằng chứng (Evidence) — hằng số chuẩn hóa đảm bảo tổng xác suất bằng 1.

5. Ước Lượng Hợp Lý Cực Đại (Maximum Likelihood Estimation - MLE)

Phần tiêu đề “5. Ước Lượng Hợp Lý Cực Đại (Maximum Likelihood Estimation - MLE)”

Giả sử ta thu thập được tập dữ liệu gồm mm mẫu độc lập D={x(1),x(2),…,x(m)}\mathcal{D} = \{x^{(1)}, x^{(2)}, \dots, x^{(m)}\}. Câu hỏi đặt ra là: Bộ tham số θ\boldsymbol{\theta} nào có khả năng cao nhất đã sinh ra tập dữ liệu này?

Hàm độ hợp lý (Likelihood function) là tích xác suất của tất cả các mẫu:

L(θ)=∏i=1mp(x(i)∣θ)L(\boldsymbol{\theta}) = \prod_{i=1}^m p(x^{(i)} \mid \boldsymbol{\theta})

Để tránh việc nhân các số cực nhỏ gây tràn dưới số thực (numerical underflow) và để đơn giản hóa phép lấy đạo hàm, ta lấy logarit tự nhiên để chuyển sang hàm Log-Likelihood:

ℓ(θ)=ln⁡L(θ)=∑i=1mln⁡p(x(i)∣θ)\ell(\boldsymbol{\theta}) = \ln L(\boldsymbol{\theta}) = \sum_{i=1}^m \ln p(x^{(i)} \mid \boldsymbol{\theta})

Nghiệm ước lượng hợp lý cực đại là tham số làm cực đại hóa hàm này:

θ^MLE=arg⁡max⁡θ∑i=1mln⁡p(x(i)∣θ)\hat{\boldsymbol{\theta}}_{\text{MLE}} = \arg\max_{\boldsymbol{\theta}} \sum_{i=1}^m \ln p(x^{(i)} \mid \boldsymbol{\theta})

Nguồn Gốc Toán Học Của MSE và Cross-Entropy

Phần tiêu đề “Nguồn Gốc Toán Học Của MSE và Cross-Entropy”
  1. Nguồn gốc hàm mất mát MSE: Giả sử mô hình dự đoán y^(i)=f(x(i))\hat{y}^{(i)} = f(\mathbf{x}^{(i)}) và nhãn thật bị nhiễu bởi phân phối Gaussian: y(i)∼N(y^(i),σ2)y^{(i)} \sim \mathcal{N}(\hat{y}^{(i)}, \sigma^2). Log-likelihood của tập dữ liệu là:

    ℓ=∑i=1mln⁡(1σ2πexp⁡(−(y(i)−y^(i))22σ2))=−mln⁡(σ2π)−12σ2∑i=1m(y(i)−y^(i))2\ell = \sum_{i=1}^m \ln \left( \frac{1}{\sigma \sqrt{2\pi}} \exp\left(-\frac{(y^{(i)} - \hat{y}^{(i)})^2}{2\sigma^2}\right) \right) = -m \ln(\sigma \sqrt{2\pi}) - \frac{1}{2\sigma^2} \sum_{i=1}^m (y^{(i)} - \hat{y}^{(i)})^2

    Cực đại hóa ℓ\ell tương đương với việc cực tiểu hóa tổng bình phương sai số ∑(y(i)−y^(i))2\sum (y^{(i)} - \hat{y}^{(i)})^2 — chính là hàm mất mát MSE!

  2. Nguồn gốc hàm mất mát Cross-Entropy: Giả sử nhãn phân loại nhị phân y(i)∈{0,1}y^{(i)} \in \{0, 1\} tuân theo phân phối Bernoulli với xác suất dự đoán y^(i)=P(Y=1)\hat{y}^{(i)} = P(Y=1). Log-likelihood là:

    ℓ=∑i=1m[y(i)ln⁡y^(i)+(1−y(i))ln⁡(1−y^(i))]\ell = \sum_{i=1}^m \left[ y^{(i)} \ln \hat{y}^{(i)} + (1 - y^{(i)}) \ln(1 - \hat{y}^{(i)}) \right]

    Đổi dấu (cực tiểu hóa −ℓ-\ell) cho ta chính xác công thức Binary Cross-Entropy Loss!

  • Giả định độc lập (i.i.d): MLE giả định các mẫu dữ liệu độc lập và cùng phân phối (Independent and Identically Distributed). Với dữ liệu văn bản hay chuỗi thời gian (như giá cổ phiếu), các bước sau phụ thuộc mạnh vào bước trước, đòi hỏi mô hình tự hồi quy phức tạp hơn.
  • Học vẹt khi dữ liệu ít (Overfitting): Nếu bạn tung đồng xu 3 lần và cả 3 lần đều ngửa, MLE sẽ kết luận xác suất ngửa là 100%100\% (p^MLE=1.0\hat{p}_{\text{MLE}} = 1.0). Lúc này, suy luận Bayes với một phân phối tiên nghiệm hợp lý (MAP) sẽ giúp hạn chế kết luận cực đoan.

Sơ đồ trực quan dưới đây so sánh cấu trúc phân phối Gaussian và cây quyết định xác suất trong Định lý Bayes:

1. PHÂN PHỐI CHUẨN GAUSSIAN N(μ, σ²):
f(x)
▲ Điểm đỉnh tại x = μ
│ ╭───╮
│ ╭╯ ╰╮
│ ╭╯ ╰╮ Vùng [μ - σ, μ + σ]
│ ╭─╯ ╰─╮ chứa khoảng 68.2% dữ liệu!
│ ───╯ ╰───
└───────────┼────┼────┼──────────► x
μ-σ μ μ+σ
2. ĐỊNH LÝ BAYES TRONG CHẨN ĐOÁN (BASE RATE FALLACY):
10,000 Người trong cộng đồng
├── 1% Mắc bệnh (100 người) ──► Xét nghiệm đúng 95% ──► 95 Dương tính thật
└── 99% Khỏe mạnh (9,900 người) ──► Dương tính giả 5% ─► 495 Dương tính giả
==> Nhóm dương tính có 95 + 495 = 590 người, chỉ có 95 người thực sự có bệnh!

Các ô dưới đây chạy độc lập. Ô đầu tiên lần đầu chạy có thể lâu hơn vài giây vì trình duyệt cần tải thư viện scipy và matplotlib.

Ô đầu tiên sinh 5000 mẫu ngẫu nhiên từ phân phối Gaussian N(2.0,1.52)\mathcal{N}(2.0, 1.5^2), tính kỳ vọng và phương sai thực nghiệm, sau đó vẽ biểu đồ tần suất cùng đường cong mật độ lý thuyết (PDF).

Mô phỏng phân phối Gaussian, tính kỳ vọng và vẽ hàm mật độ PDF

import matplotlib.pyplot as plt
import numpy as np
from scipy import stats
# Thiết lập tham số phân phối chuẩn: kỳ vọng mu và độ lệch chuẩn sigma
mu, sigma = 2.0, 1.5
rng = np.random.default_rng(42)
samples = rng.normal(loc=mu, scale=sigma, size=5000)
# Kỳ vọng và phương sai thực nghiệm (empirical) từ mẫu ngẫu nhiên
emp_mean = np.mean(samples)
emp_var = np.var(samples)
# In so sánh giữa giá trị lý thuyết và kết quả thực nghiệm
print(f"Theoretical mean: {mu:.4f} | Empirical: {emp_mean:.4f}")
print(f"Theoretical var : {sigma**2:.4f} | Empirical: {emp_var:.4f}")
# Tạo lưới điểm tính hàm mật độ xác suất (PDF) bằng SciPy
x = np.linspace(mu - 4.0 * sigma, mu + 4.0 * sigma, 200)
pdf = stats.norm.pdf(x, loc=mu, scale=sigma)
# Vẽ biểu đồ phân bố mẫu cùng đường cong mật độ lý thuyết
fig, ax = plt.subplots(figsize=(6, 3.5))
ax.hist(samples, bins=50, density=True, alpha=0.5, label="Samples hist")
ax.plot(x, pdf, "r-", lw=2, label="Theoretical PDF")
ax.set_title("Gaussian Distribution N(2.0, 1.5^2)")
ax.set_xlabel("x")
ax.set_ylabel("Probability Density")
ax.legend()
plt.tight_layout()
plt.show()

Lần chạy đầu cần tải Python, khoảng 10 MB.

Kết quả in ra cho thấy:

  • Kỳ vọng lý thuyết μ=2.0000\mu = 2.0000, kỳ vọng thực nghiệm tính từ 5000 mẫu ngẫu nhiên đạt 1.97021.9702.
  • Phương sai lý thuyết σ2=1.52=2.2500\sigma^2 = 1.5^2 = 2.2500, phương sai thực nghiệm đạt 2.24712.2471.
  • Cả hai đại lượng thực nghiệm đều tiệm cận rất sát giá trị lý thuyết, minh chứng cho quy luật số lớn (Law of Large Numbers).

Ô thứ hai giải bài toán chẩn đoán y khoa bằng Định lý Bayes (tính xác suất hậu nghiệm P(D∣+)P(D \mid +) với DD là biến cố mắc bệnh) và minh họa thuật toán ước lượng hợp lý cực đại MLE cho phân phối Bernoulli.

Tính xác suất hậu nghiệm Bayes và ước lượng MLE Bernoulli

import numpy as np
# 1. Định lý Bayes trong bài toán chẩn đoán y khoa
p_disease = 0.01
p_pos_given_d = 0.95
p_pos_given_nod = 0.05
# Tính xác suất toàn phần P(+) và xác suất hậu nghiệm P(D|+)
p_pos = p_pos_given_d * p_disease + p_pos_given_nod * (1.0 - p_disease)
p_disease_given_pos = (p_pos_given_d * p_disease) / p_pos
# In kết quả suy luận Bayes
print(f"Total positive P(+) : {p_pos:.4f}")
print(f"Posterior P(D|+) : {p_disease_given_pos:.4f}")
# 2. Ước lượng hợp lý cực đại (MLE) cho phân phối Bernoulli
data = np.array([1, 1, 1, 0, 1, 1, 0, 1, 1, 1])
k = np.sum(data)
n = len(data)
p_mle = k / n
# Tính Log-Likelihood tại nghiệm tối ưu p_mle và tại giá trị đối chứng 0.5
log_lik_mle = k * np.log(p_mle) + (n - k) * np.log(1.0 - p_mle)
log_lik_half = k * np.log(0.5) + (n - k) * np.log(0.5)
# In kết quả ước lượng hợp lý cực đại
print(f"MLE parameter (p_hat): {p_mle:.4f}")
print(f"Log-lik at p_mle : {log_lik_mle:.4f}")
print(f"Log-lik at p=0.5 : {log_lik_half:.4f}")

Lần chạy đầu cần tải Python, khoảng 10 MB.

Kết quả in ra cho thấy:

  • Xác suất toàn phần của xét nghiệm dương tính P(+)P(+) là 0.05900.0590 (gồm 0.95%0.95\% dương tính thật và 4.95%4.95\% dương tính giả).
  • Xác suất thực sự mắc bệnh khi nhận kết quả dương tính chỉ là 0.16100.1610 (16.10%16.10\%). Dù xét nghiệm có độ chính xác 95%95\%, căn bệnh quá hiếm khiến số ca dương tính giả áp đảo số ca dương tính thật.
  • Trong chuỗi 10 thử nghiệm Bernoulli có 8 lần thành công, nghiệm MLE p^MLE=0.8000\hat{p}_{\text{MLE}} = 0.8000.
  • Giá trị Log-Likelihood tại p^=0.8\hat{p} = 0.8 đạt −5.0040-5.0040, cao hơn rõ rệt so với mức −6.9315-6.9315 tại giả định cơ sở p=0.5p = 0.5, chứng minh p^=0.8\hat{p} = 0.8 là tham số giải thích dữ liệu quan sát tốt nhất.
Câu 1/4 Cho biến ngẫu nhiên liên tục XX tuân theo phân phối chuẩn tắc X∼N(0,1)X \sim \mathcal{N}(0, 1). Giá trị xác suất để XX nhận chính xác giá trị bằng 1.51.5 (P(X=1.5)P(X = 1.5)) là bao nhiêu?
Câu 2/4 Trong một cộng đồng có tỉ lệ mắc bệnh hiếm là 1%1\%. Một xét nghiệm có độ nhạy 95%95\% và tỉ lệ dương tính giả 5%5\%. Nếu một người ngẫu nhiên nhận kết quả xét nghiệm dương tính, xác suất người đó thực sự mắc bệnh là khoảng bao nhiêu?
Câu 3/4 Trong học máy, khi giả định sai số dự đoán (nhiễu) giữa nhãn thật và đầu ra mô hình tuân theo phân phối chuẩn Gaussian, phương pháp ước lượng hợp lý cực đại (MLE) dẫn thẳng tới hàm mất mát quen thuộc nào?
Câu 4/4 Tại sao khi tối ưu hóa tham số theo phương pháp MLE, chúng ta luôn lấy logarit của hàm likelihood (Log-Likelihood ∑ln⁡p(x(i))\sum \ln p(x^{(i)})) thay vì nhân trực tiếp các xác suất ∏p(x(i))\prod p(x^{(i)})?

Ý chính:

  • Biến ngẫu nhiên định lượng sự bất định; biến liên tục có xác suất tại một điểm chính xác bằng 0 và được mô tả bởi hàm mật độ PDF.
  • Phân phối chuẩn Gaussian là tâm điểm của thống kê nhờ Định lý giới hạn trung tâm; Bernoulli là mô hình toán học của bài toán phân loại nhị phân.
  • Định lý Bayes cung cấp quy tắc chuẩn xác để cập nhật niềm tin tiên nghiệm dựa trên bằng chứng dữ liệu thực tế.
  • Ước lượng hợp lý cực đại (MLE) là cội nguồn xác suất dẫn thẳng tới các hàm mất mát căn bản trong học máy: MSE từ giả định nhiễu Gaussian và Cross-Entropy từ phân phối Bernoulli.

Đọc thêm:

Nội dung theo giấy phép CC BY-NC-SA 4.0. Mã nguồn theo giấy phép MIT.Giới thiệu