Contents


概率论基础

教材: 概率论基础(第三版) - 李贤平

第一章 事件与概率

样本点(sample point): 试验可能出现的结果，用$\omega$表示。
样本空间(sample space): 全体样本点的集合，用$\Omega$表示。
事件: 样本点的集合，用$A, B, C, \cdots$表示。

事件的运算可以等价为集合的运算。

概率: 映射$P: \omega \mapsto \mathbb{R}$，满足以下三个条件:

  1. 非负性: $P(A) \geq 0$
  2. 规范性: $P(\Omega) = 1$
  3. 可列可加性: 若$A_1, A_2, \cdots$两两互斥，则$P(\bigcup_{i=1}^{\infty} A_i) = \sum_{i=1}^{\infty} P(A_i)$

古典概型

核心公式: \(P(A) = \frac{m}{n} = \frac{\text{有利场合的数目}}{样本点总数}\)

组合数

$$C_n^r ={n \choose r}= \frac{n!}{r!(n-r)!}$$

组合数的意义是二项式系数:

$$(a+b)^n=\sum_\limits{r=0}^{n} {n \choose r} a^{r}b^{n-r}$$

可以定义多项式系数

$$P_n^{(r_1,r_2,...,r_k)} = \frac{n!}{r_1!r_2!...r_k!}, \text{for } r_1+r_2+...+r_k=n$$

多项式系数代表了多项式的展开式中的系数:

$$(a_1+a_2+...+a_k)^n = \sum_\limits{r_1+r_2+...+r_k=n} P_n^{(r_1,r_2,...,r_k)} a_1^{r_1}a_2^{r_2}...a_k^{r_k}$$

重复组合数

从$n$个不同的元素中有重复地取$r$个，不计顺序，则不同的取法有:

$$H_n^r = {n+r-1 \choose r} = \frac{(n+r-1)!}{r!(n-1)!}$$

Proof:

设 $n$ 个不同的元素为 $1,2,3,\ldots,n$
设取出的 $r$ 个元素为 $a_1,a_2,a_3,\ldots,a_r$
构造一个组合 $b_1,b_2,b_3,\ldots,b_r$
其中

$$\begin{array}{lll} b_1 = a_1 \\ b_2 = a_2 + 1 \\ b_3 = a_3 + 2 \\ \ldots \\ b_r = a_r + r - 1 \end{array}$$

显然 $b_i$ 是不重复的，且 $b_i \in \{1,2,3,\ldots,n+r-1\}$，所以有 $H_n^r$ 种组合

讨论组合数时，下列的展开式是有用的

$$(1+x)^n=\sum_\limits{r=0}^{n} {n \choose r} x^{r}$$

令 $x=1$，得到

$$2^n = \sum_\limits{r=0}^{n} {n \choose r}$$

$$\begin{array}{lll} (1+x)^a(1+x) ^b = (1+x)^{a+b} \\ \sum_\limits{n1=0}^{a} {a \choose n1} x^{n1} \sum_\limits{n2=0}^{b} {b \choose n2} x^{n2} = \sum_\limits{n=0}^{a+b} {a+b \choose n} x^{n} , \text{for } n1+n2=n \end{array}$$

可以由系数相等得到

$${a \choose 0} {b \choose n} + {a \choose 1} {b \choose n-1} + ... + {a \choose n} {b \choose 0} = {a+b \choose n}$$

当$n = a,b$时

$${n \choose 0}^2 + {n \choose 1}^2 + ... + {n \choose n}^2 = {2n \choose n}$$

为了推广二项式定理，可以定义:

$$\begin{array}{ccc} A_x^r = x(x-1)\cdots (x-r+1), \forall x \in \mathbb{R} \text{ and } r \in \mathbb{N}\\ {x \choose r} = \frac{A_x^r}{r!} \end{array}$$

可以验证

$${-a \choose k} = (-1)^k {a+k-1 \choose k}$$

二项分布和超几何分布

二项分布和超几何分布分别代表了有放回和无放回的取样概率，其概率公式分别为:

$$\begin{array}{ccc} b_k = {n \choose k} p^k (1-p)^{n-k}\\ h_k = \frac{{M \choose k} {N-M \choose n-k}}{{N \choose n}} \end{array}$$

几何概率

几何概率定义:

$$P(A_g) = \frac{m}{n}, m为g的测度，n为\Omega的测度$$

由于贝特朗悖论的出现，需要所研究的事件具有可测的性质。

几何概率基本性质

  1. 非负性 $P(A) \geq 0$
  2. 规范性 $P(S) = 1$
  3. 可列可加性 若$A_1, \cdots , A_n$两两互斥，$P(\sum_\limits{n=1}^{\infty }A_n) = \sum_\limits{n=1}^{\infty }P(A_n)$

概率空间

记全体事件为 $\mathscr{F}$，是由$\Omega$的部分子集构成，对$\mathscr{F}$加入如下限制:

  1. $\Omega \in \mathscr{F}$
  2. 若 $A \in \mathscr{F}$，则 $\bar{A} \in \mathscr{F}$
  3. 若 $A_1,A_2,... \in \mathscr{F}$，则 $\cup_{n=1}^{\infty}A_n \in \mathscr{F}$

满足上述条件的集合 $\mathscr{F}$ 称为 $\Omega$ 的 $\sigma$ 代数。

Definition: 事件域

若$\mathscr{F}$是由样本空间$\Omega$的一些子集构成的一个$\sigma$域，则称它为事件域，$\mathscr{F}$中的元素称为事件，$\Omega$称为必然事件，$\varnothing$称为不可能事件。

例1 $\mathscr{F}=\{\varnothing,\Omega\}$, 不难验证 $\mathscr{F}$ 是一个 $\sigma$ 域, 这时只有必然事件 $\Omega$ 与不可能事件 $\varnothing$ 是事件.
例2 $\mathscr{F}=\{\varnothing, A,\bar{A},\Omega\}$. 这时 $\mathscr{F}$ 也是一个 $\sigma$ 域, $\Omega, A,\bar{A},\varnothing$ 是事件.
例3 $\Omega=\left\{\omega_1,\cdots,\omega_n\right\}$, $\mathscr{F}$ 由 $\Omega$ 的一切子集构成, 这时它包含不可能事件 $\varnothing,\left(\begin{array}{l}n\\ 1\end{array}\right)$ 个单点集, $\left(\begin{array}{l}n\\ 2\end{array}\right)$ 个双点集, $\cdots,\left(\begin{array}{c}n\\ n-1\end{array}\right)$ 个 n-1点集, 还有必然事件 $\Omega$, 因此计有 $\binom{n}{0}+\binom{n}{1}+\binom{n}{2}+\cdots+\binom{n}{n-1}+\binom{n}{n}=2^n$ 个元素. 不难验证, $\mathscr{F}$ 是一个 $\sigma$ 域.
例4 对于一般的 $\Omega$, 若 $\mathscr{F}$ 由 $\Omega$ 的一切子集构成, 可以验证 $\mathscr{F}$ 是一个 $\sigma$ 域。

Theorem: 最小$\sigma$域

给定 $\Omega$ 的非空子集 $\mathscr{S}$，必存在唯一的 $\sigma$ 代数 $\mathfrak{m}(\mathscr{S})$，使得 $\mathscr{S} \subseteq \mathfrak{m}(\mathscr{S})$, 且 $\mathfrak{m} (\mathscr{S})$是包含 $\mathscr{S}$的最小 $\sigma$代数。

Proof:

由例4可以看出由 $\Omega$ 的一切子集构成的 $\sigma$ 代数是包含 $\mathscr{S}$的$\sigma$ 代数。取所有包含 $\mathscr{S}$的 $\sigma$ 代数的交集，这个交集就是 $\mathfrak{m}(\mathscr{S})$。不难验证 $\mathfrak{m}(\mathscr{S})$ 是包含 $\mathscr{S}$的最小 $\sigma$ 代数。

Definition: 一维博雷尔点集

以$\mathbb{R}^1$记数直线或实数全体，并称由一切形为$[a, b)$的有界左闭右开区间构成的集$\sigma$域为一维博雷尔$\sigma$域，记之为$\mathscr{B}_1$，称$\mathscr{B}_1$的元素为一维博雷尔点集。

{注}: $\mathscr{B}_1$包含了一切开区间、闭区间、单个实数、可列个实数的集合，以及这些集合的可列并、可列交。

{注}: 为什么要研究博雷尔$\sigma$域？
Answer:
因为我们的概率一般是定义在$\mathbb{R}$上的, 自然想要研究在$\mathbb{R}$上可测的集合. 而博雷尔$\sigma$域是可测的, 且一般能包括我们所研究的集合.
下面给出一个不可测的集合.
Example: 勒贝格不可测集

选取样本空间 $\Omega=[0,1]$, 令 $\Omega$ 中的所有有理数集合为 $Q'$, 由于有理数为可数集合, 因而可以写成 $Q'=\{q_1, q_2, \ldots\}$。对于对于任意实数 \(a \in (0,1)\)，定义集合

\[S_a = \left\{ \begin{array}{ccc} a + q & \text{if} & a + q < 1 \\ a + q - 1 & \text{if} & a + q \geqslant 1 \end{array} \forall q \in Q' \right\}\]
其中 \(Q'\) 是 \(\Omega = [0,1]\) 中所有有理数的集合。可知
\[\bigcup_{a \in (0,1)} S_a = [0,1]\]
由于 \(S_a\) 也是可数集，可以将其写为
\[S_a = \{ s_{a1}, s_{a2}, \ldots \}\]
令 \(T_1\) 为所有 \(S_a\) 中的 \(s_{a1}\)，\(T_2\) 为所有 \(S_a\) 中的 \(s_{a2}\)，因此我们有可数个 \(T_k\)，且
\[\bigcup_{k=1}^{\infty} T_k = [0,1]\]
且 \(T_k\) 两两不相交。每个 \(T_k\) 地位相等，因此
\[P(T_k) = P(T_{k'})\]
若 \(P(T_k) > 0\)，则
\[1 = P([0,1]) = P\left( \bigcup_{k=1}^{\infty} T_k \right) = \sum_{k=1}^{\infty} P(T_k) = \infty\]
如果 \(P(T_k) = 0\)，则
\[1 = P([0,1]) = {P}\left( \bigcup_{k=1}^{\infty} T_k \right) = \sum_{k=1}^{\infty} {P}(T_k) = 0\]
无论如何都会得到矛盾。

概率

定义为事件域的元素到实数的映射， 满足以下三个条件:

Definition: 概率

事件域$\mathscr{F}$上的一个集合函数$P$称为概率，即$P: A_{\mathscr{F}}, \mapsto \mathbb{R}$，如果它满足如下三个要求:
(i) $P(A) \geq 0$，对一切$A \in \mathscr{F}$；
(ii) $P(\Omega) = 1$;
(iii) 若$A_i \in \mathscr{F}, \quad i = 1, 2, \cdots$且两两互不相容，则

\[P\left(\bigcup_{i=1}^{\infty} A_i\right) = \sum_{i=1}^{\infty} P(A_i) \quad (1.5.1)\]

由概率的定义可以得到以下结论:

  1. $P(\varnothing) = 0$
  2. 若$A_iA_j = \varnothing(i \neq j)$，则$P(A_1 + \cdot + A_n) = P(A_1) + \cdots + P(A_n)$.
  3. $P(A-B) = P(A) - P(AB)$.
  4. $P(A + B) = P(A) + P(B) - P(AB)$.
  5. $P(A_1 + \cdots + A_n) \leq P(A_1) + \cdots + P(A_n)$.
  6. $P(A_1A_2\cdots A_n) \geq P(A_1) + \cdots + P(A_n) - (n-1)$.
  7. $P(A_1 + \cdots + A_n) = \sum_{i=1,\cdots,n}P(A_i) - \sum_{i<j}P(A_iA_j) + \sum_{i<j<k}P(A_iA_jA_k) - \cdots + (-1)^{n-1}P(A_1A_2\cdots A_n)$.