Contents

第四章-多元正态总体的统计推断

多元统计基础

4.1.* Definition: 多元分布函数

设随机向量 $X = (X_1, X_2, \ldots, X_p)^T$，多元分布函数为

\[F(\boldsymbol{x}) = F(x_1, x_2, \ldots, x_p) = P(X_1 \leq x_1, X_2 \leq x_2, \ldots, X_p \leq x_p)\]

式中，$\boldsymbol{x} = (x_1, x_2, \ldots, x_p) \in \mathbb{R}^p$，并记成 $X \sim F$。

4.1.* Definition: 多元变量独立性

两个随机向量 $X$ 和 $Y$ 称为互相独立的，若

\[P(X \leq x, Y \leq y) = P(X \leq x) P(Y \leq y) \quad \forall x, y\]

若 $F(x, y)$ 为 $(X, Y)$ 的联合分布函数，$G(x)$ 和 $H(y)$ 分别为 $X$ 和 $Y$ 的分布函数，则 $X$ 和 $Y$ 独立当且仅当

\[F(x, y) = G(x) H(y)。\]

4.1.* 多元变量的均值

设 $X = (X_1, X_2, \ldots, X_p)^T$ 有 $p$ 个分量。若 $E(X_i) = \mu_i (i = 1, 2, \ldots, p)$ 存在，定义随机向量 $X$ 的均值为

\[E(X) = \begin{bmatrix} E(X_1) \\ E(X_2) \\ \vdots \\ E(X_p) \end{bmatrix} = \begin{bmatrix} \mu_1 \\ \mu_2 \\ \vdots \\ \mu_p \end{bmatrix} = \boldsymbol{\mu}\]

4.1.* 多元变量的方差

随机向量 $X$ 的协方差阵定义为

\[\boldsymbol{\Sigma} = \text{cov}(X, X) = E(X - E X)(X - E X)^T = D(X)\]

其中

\[D(X) = \begin{bmatrix} D(X_1) & \text{cov}(X_1, X_2) & \cdots & \text{cov}(X_1, X_p) \\ \text{cov}(X_2, X_1) & D(X_2) & \cdots & \text{cov}(X_2, X_p) \\ \vdots & \vdots & & \vdots \\ \text{cov}(X_p, X_1) & \text{cov}(X_p, X_2) & \cdots & D(X_p) \end{bmatrix} = (\sigma_{ij})\]

称它为 $p$ 维随机向量 $X$ 的协方差阵。称 $|\text{cov}(X, X)|$ 为 $X$ 的广义方差，是协方差阵的行列式的值。
当$A$和$B$为常数矩阵时，由定义可立即推出如下性质：

4.1.* Property: 多元变量的性质

当 $A$ 和 $B$ 为常数矩阵时，由定义可推出如下性质：
(1) $E(AX) = AE(X)$
(2) $E(AXB) = AE(X)B$
(3) $D(AX) = A D(X) A^T = A\Sigma A^T$
(4) $\text{cov}(AX, BY) = A \text{cov}(X, Y) B^T$
(5) 设 $X$ 为 $p$ 维随机向量，期望和协方差存在，记 $\mu = E(X), \Sigma = D(X)$，$A$ 为 $p \times p$ 常数阵，则

\[E(X^T A X) = \text{tr}(A\Sigma) + \mu^T A \mu\]

(6) 对随机向量 $X = (X_1, X_2, \ldots, X_p)^T$，其协方差阵 $\Sigma$ 都是对称阵，同时总是半正定的。大多数情形下是正定的。

多元正态分布

4.1.1 Definition: 密度函数定义

若$p$维随机向量$\boldsymbol{x}$的密度函数为

$$p(\boldsymbol{x}) = (2\pi)^{-\frac{p}{2}} |\boldsymbol{\Sigma}|^{-\frac{1}{2}} \exp\left\{-\frac{1}{2}(\boldsymbol{x}- \boldsymbol{\mu})'\boldsymbol{\Sigma}^{-1}(\boldsymbol{x}-\boldsymbol{\mu})\right\}$$

其中$\boldsymbol{\mu}$是$p$维常数向量，$\boldsymbol{\Sigma}$是$p \times p$阶正定矩阵，则称$\boldsymbol{x}$服从$p$元正态分布，记为$\boldsymbol{x} \sim N_p(\boldsymbol{\mu}, \boldsymbol{\Sigma})$，也称$\boldsymbol{x}$为$p$元正态向量。

4.1.2 Definition: 特征函数定义

若$p$维随机向量$\boldsymbol{x}$的特征函数为

$$\varphi( \boldsymbol{t}) = E(e^{i \boldsymbol t'\boldsymbol{x}}) = \exp\left\{i \boldsymbol t'\boldsymbol{\mu} - \frac{1}{2} \boldsymbol t'\boldsymbol{\Sigma} \boldsymbol t\right\}$$

其中$\boldsymbol{\mu}$是$p$维常数向量，$\boldsymbol{\Sigma}$是$p \times p$阶非负定矩阵，则称$\boldsymbol{x}$服从$p$元正态分布$N_p(\boldsymbol{\mu}, \boldsymbol{\Sigma})$。

在特征函数定义中不要求 $\boldsymbol{\Sigma}$ 正定，因此比密度函数定义的正态分布含义更广一些。当 $\boldsymbol{\Sigma}$ 不可逆时，$\boldsymbol{x}$ 没有分布密度函数，此时称 $\boldsymbol{x}$ 为奇异正态分布或退化正态分布。

4.1.3 Definition: 一元正态分布推广

若对任何非零向量 $\boldsymbol{a} \in \mathbb{R}^p$，$\boldsymbol{x}$ 的线性组合 $\boldsymbol{a}'\boldsymbol{x}$ 服从一元正态分布 $N(\boldsymbol{a}'\boldsymbol{\mu}, \boldsymbol{a}'\boldsymbol{\Sigma}\boldsymbol{a})$，则称 $\boldsymbol{x}$ 服从 $p$ 元正态分布 $N_p(\boldsymbol{\mu}, \boldsymbol{\Sigma})$。

4.1.1 Property: 多元正态分布均值和方差

设 $\boldsymbol{x} \sim N_p(\boldsymbol{\mu}, \boldsymbol{\Sigma})$，则 $E(\boldsymbol{x}) = \boldsymbol{\mu}$，$\text{Var}(\boldsymbol{x}) = \boldsymbol{\Sigma}$。

$p$ 元正态分布由其均值向量和协方差阵唯一确定。特别地，当 $\boldsymbol{x} \sim N_p(\boldsymbol{0}, \boldsymbol{I}_p)$ 时，有 $E(\boldsymbol{x}) = \boldsymbol{0}$，$\text{Var}(\boldsymbol{x}) = \boldsymbol{I}_p$，其中 $\boldsymbol{I}_p$ 表示 $p$ 阶单位矩阵。此时称 $\boldsymbol{x}$ 服从 $p$ 元标准正态分布，其分布密度为

\[p(\boldsymbol{x}) = p(x_1, \ldots, x_n) = (2\pi)^{-\frac{p}{2}} \exp\left\{-\frac{1}{2} \sum_{i=1}^p x_i^2\right\} = \prod_{i=1}^p \frac{1}{\sqrt{2\pi}} e^{-\frac{x_i^2}{2}}\]

显然，$p$ 元标准正态分布就是 $p$ 个相互独立的一维标准正态变量的联合分布。

4.1.2 Property: 多元正态分布的线性变换

设 $\boldsymbol{x} \sim N_p(\boldsymbol{\mu}, \boldsymbol{\Sigma})$，$\boldsymbol{y} = \boldsymbol{A}\boldsymbol{x} + \boldsymbol{b}$，其中 $\boldsymbol{A}_{m \times p}$ 是任意非零常数矩阵，$\boldsymbol{b}_{m \times 1}$ 是任意常数向量，则 $\boldsymbol{y} \sim N_m(\boldsymbol{A}\boldsymbol{\mu} + \boldsymbol{b}, \boldsymbol{A}\boldsymbol{\Sigma}\boldsymbol{A}')$，也就是说，多元正态向量 $\boldsymbol{x}$ 的任何线性变换仍然服从多元正态分布。

性质 4.1.2 揭示出多元正态向量在线性变换下的基本特性，选择各种不同的线性变换，可以得到一系列重要结论，比如：
(1) 若 $\boldsymbol{x} \sim N_p(\boldsymbol{0}, \boldsymbol{I}_p)$，$\boldsymbol{A}_{m \times p}$ 是任意非零常数矩阵，则 $\boldsymbol{y} = \boldsymbol{A}\boldsymbol{x} + \boldsymbol{\mu} \sim N_m(\boldsymbol{\mu}, \boldsymbol{A}\boldsymbol{A}')$。
(2) 若 $\boldsymbol{x} \sim N_p(\boldsymbol{\mu}, \boldsymbol{\Sigma})$，$\boldsymbol{\Sigma} > \boldsymbol{0}$，则 $\boldsymbol{y} = \boldsymbol{\Sigma}^{-\frac{1}{2}}(\boldsymbol{x} - \boldsymbol{\mu}) \sim N_p(\boldsymbol{0}, \boldsymbol{I}_p)$。
(3) 设 $\boldsymbol x\sim N_p(\boldsymbol \mu, \boldsymbol \Sigma)$, 把 $\boldsymbol x$ 分块成 $\boldsymbol x=\begin{pmatrix} x_1 \\ x_2 \end{pmatrix}$, $\boldsymbol \mu$ 和 $\boldsymbol \Sigma$ 相应分成

$$\boldsymbol \mu = \begin{pmatrix}\boldsymbol \mu_1 \\ \boldsymbol \mu_2 \end{pmatrix}, \quad \boldsymbol \Sigma = \begin{pmatrix} \boldsymbol \Sigma_{11} & \boldsymbol \Sigma_{12} \\ \boldsymbol \Sigma_{21} & \boldsymbol \Sigma_{22} \end{pmatrix},$$

则 $\boldsymbol x_1 \sim N_r(\boldsymbol \mu_1, \boldsymbol \Sigma_{11})$, $\boldsymbol x_2 \sim N_{p-r}(\boldsymbol \mu_2, \boldsymbol \Sigma_{22})$, 并且 $\text{Cov}(\boldsymbol x_1, \boldsymbol x_2) = \boldsymbol \Sigma_{12}$。
(4) 设 $\boldsymbol x\sim N_p(\boldsymbol \mu,\boldsymbol \Sigma)$, 则 $\boldsymbol x$ 的任意子向量也服从多元正态分布。这表明 $\boldsymbol x$ 的任意边际分布也是正态分布。这一命题的逆命题不一定成立，即边际分布为正态分布，联合分布并不一定是正态分布。

4.1.3 Property: 多元正态分布的独立性

设 $\boldsymbol{x} \sim N_p(\boldsymbol{\mu}, \boldsymbol{\Sigma})$，把 $\boldsymbol{x}$ 分块为 $\boldsymbol{x} = \begin{pmatrix} \boldsymbol{x}_1 \\ \boldsymbol{x}_2 \end{pmatrix}$，$\boldsymbol{\mu}$ 和 $\boldsymbol{\Sigma}$ 相应分成

\[\boldsymbol{\mu} = \begin{pmatrix} \boldsymbol{\mu}_1 \\ \boldsymbol{\mu}_2 \end{pmatrix}, \quad \boldsymbol{\Sigma} = \begin{pmatrix} \boldsymbol{\Sigma}_{11} & \boldsymbol{\Sigma}_{12} \\ \boldsymbol{\Sigma}_{21} & \boldsymbol{\Sigma}\_{22} \end{pmatrix},\]

则 $\boldsymbol{x}_1$ 与 $\boldsymbol{x}_2$ 相互独立的充分必要条件是 $\boldsymbol{\Sigma}_{12} = \boldsymbol{0}$。

4.1.4 Property: 多元正态分布的秩

设 $\boldsymbol{x} \sim N_p(\boldsymbol{\mu}, \boldsymbol{\Sigma})$，则 $\text{rank}(\boldsymbol{\Sigma}) = r$ 的充分必要条件是存在列满秩矩阵 $\boldsymbol{B}_{p \times r}$，使得 $\boldsymbol{x} = \boldsymbol{B}\boldsymbol{y} + \boldsymbol{\mu}$，且 $\boldsymbol{B}\boldsymbol{B}' = \boldsymbol{\Sigma}$，$\boldsymbol{y} \sim N_r(\boldsymbol{0}, \boldsymbol{I}_r)$。

4.1.5 Property: 多元正态分布的和

设 $\boldsymbol{x}_1, \ldots, \boldsymbol{x}_k$ 相互独立，且 $\boldsymbol{x}_i \sim N_p(\boldsymbol{\mu}_i, \boldsymbol{\Sigma}_i)$，$i = 1, 2, \ldots, k$，则对任何 $k$ 个 $m \times p$ 阶非零常数矩阵 $\boldsymbol{A}_1, \ldots, \boldsymbol{A}_k$，有

\[\sum_{i=1}^k \boldsymbol{A}_i \boldsymbol{x}_i \sim N_m\left(\sum_{i=1}^k \boldsymbol{A}_i \boldsymbol{\mu}_i, \sum_{i=1}^k \boldsymbol{A}_i \boldsymbol{\Sigma}_i \boldsymbol{A}_i'\right).\]

特别地，当 $\boldsymbol{x}_1, \ldots, \boldsymbol{x}_n$ 是来自正态总体 $N_p(\boldsymbol{\mu}, \boldsymbol{\Sigma})$ 的简单样本时，样本均值 $\bar{\boldsymbol{x}} = \frac{1}{n} \sum_{i=1}^n \boldsymbol{x}_i \sim N_p\left(\boldsymbol{\mu}, \frac{1}{n}\boldsymbol{\Sigma}\right)$。

4.1.6 Property: 多元正态分布的卡方分布

设 $\boldsymbol{x} \sim N_p(\boldsymbol{\mu}, \boldsymbol{\Sigma})$，且 $\boldsymbol{\Sigma} > \boldsymbol{0}$，则 $(\boldsymbol{x} - \boldsymbol{\mu})'\boldsymbol{\Sigma}^{-1}(\boldsymbol{x} - \boldsymbol{\mu}) \sim \chi^2(p)$。

多元正态条件分布

4.2.1 Theorem: 多元正态分布的条件分布

设 $X \sim N_p(\boldsymbol{\mu}, \boldsymbol{\Sigma }), \boldsymbol{\Sigma } > \boldsymbol{0}$，则给定 $X_2$ 时 $X_1$ 的条件分布为 $N_k(\boldsymbol{\mu}_{1 \cdot 2}, \boldsymbol{\Sigma}_{11 \cdot 2})$，其中

$$\begin{gathered} \boldsymbol{\mu}_{1 \cdot 2} = \boldsymbol{\mu}_1 + \boldsymbol{\Sigma}_{12} \boldsymbol{\Sigma}_{22}^{-1} (X_2 - \boldsymbol{\mu}_2) \\ \boldsymbol{\Sigma}_{11 \cdot 2} = \boldsymbol{\Sigma}_{11} - \boldsymbol{\Sigma}_{12} \boldsymbol{\Sigma}_{22}^{-1} \boldsymbol{\Sigma}_{21} \end{gathered}$$

同样，给定 $X_1$ 时 $X_2$ 的条件分布为 $N_{p-k}(\boldsymbol{\mu}_{2:1}, \boldsymbol{\Sigma }_{22 \cdot 1})$，其中

$$\begin{gathered} \boldsymbol{\mu}_{2:1} = \boldsymbol{\mu}_2 + \boldsymbol{\Sigma }_{21} \boldsymbol{\Sigma }_{11}^{-1} (X_1 - \boldsymbol{\mu}_1) \\ \boldsymbol{\Sigma }_{22:1} = \boldsymbol{\Sigma }_{22} - \boldsymbol{\Sigma }_{21} \boldsymbol{\Sigma }_{11}^{-1} \boldsymbol{\Sigma }_{12} \end{gathered}$$

对于正态分布而言，其只需知道均值和方差，故对于正态条件分布来说，主要是求解两个变量的均值 $\boldsymbol \mu _1, \boldsymbol \mu _2$ 和方差 $\boldsymbol{\Sigma }_{11}, \boldsymbol{\Sigma }_{12}, \boldsymbol{\Sigma }_{22}$。

当 $X_1$ 与 $X_2$ 存在相关关系时，条件数学期望

$$E(X_1 | X_2) = \mu_{1 \cdot 2} = \mu_1 + \boldsymbol{\Sigma}_{12} \boldsymbol{\Sigma}_{22}^{-1} (X_2 - \mu_2)$$

可以被视为 $X_1$ 对 $X_2$ 的多元回归函数，$\boldsymbol{\Sigma}_{12} \boldsymbol{\Sigma}_{22}^{-1}$ 可以称为 $X_1$ 对 $X_2$ 的回归系数矩阵。
条件协方差矩阵 $\boldsymbol{\Sigma}_{11:2} = \boldsymbol{\Sigma}_{11} - \boldsymbol{\Sigma}_{12} \boldsymbol{\Sigma}_{22}^{-1} \boldsymbol{\Sigma}_{21}$ 又称为协方差矩阵。它是 $X_1$ 对 $X_2$ 回归后的剩余方差，是从 $X_1$ 的方差中扣除能被线性表出的部分(即 $\mu_1 + \boldsymbol{\Sigma}_{12} \boldsymbol{\Sigma}_{22}^{-1} (X_2 - \mu_2)$)的方差之后的剩余部分。
显然，由于给定了 $X_2$，$X_1$ 的条件方差 $\boldsymbol{\Sigma}_{11 \cdot 2}$ 小于原来的方差 $\boldsymbol{\Sigma}_{11}$。

4.4.2 Definition: 偏协方差矩阵

设 $\boldsymbol{x} = \begin{pmatrix} \boldsymbol{x}_1 \\ \boldsymbol{x}_2 \end{pmatrix} \sim N_p(\boldsymbol{\mu}, \boldsymbol{\Sigma}), \boldsymbol{\Sigma} > \boldsymbol{0}$。在给定 $\boldsymbol{x}_2$ 条件下，$\boldsymbol{x}_1$ 的偏协方差矩阵为

\[\text{Var}(\boldsymbol{x}_1 | \boldsymbol{x}_2) = \boldsymbol{\Sigma}_{11 \cdot 2} = (\sigma_{ij \cdot k+1 \cdots p})_{k \times k}\]

在给定 $\boldsymbol{x}_2$ 条件下，$x_i$ 与 $x_j$ 的偏相关系数定义为

\[\rho_{ij \cdot k+1 \cdots p} = \frac{\sigma_{ij \cdot k+1 \cdots p}}{\sqrt{\sigma_{ii \cdot k+1 \cdots p} \sigma_{jj \cdot k+1 \cdots p}}}\]

由偏相关系数组成的矩阵

\[R(\boldsymbol{x}_1 | \boldsymbol{x}_2) = R_{11 \cdot 2} = (\rho_{ij \cdot k+1 \cdots p})_{k \times k}\]

称为给定 $\boldsymbol{x}_2$ 条件下 $\boldsymbol{x}_1$ 的偏相关矩阵。

多元正态总体的参数估计

对一维正态分布的参数估计进行推广，定义如下参数估计量：

$$\begin{array}{l} \bar{X}=\frac{1}{n}\sum_{k=1}^{n} X_{k} \quad \text{(样本均值向量)} \\ S=\sum_{k=1}^{n}\left(X_{k}-\overline{X}\right)\left(X_{k}-\overline{X}\right)^{T} \text{(样本离差阵)} \end{array}$$

4.3.1 Theorem: 多元正态分布参数的极大似然估计

设 $X_1, X_2, \ldots, X_n (n > p)$ 是多元正态总体 $N_p(\boldsymbol{\mu}, \mathbf{V})$ 的简单样本，且 $\mathbf{V} > \mathbf{0}$，则 $\bar{\mathbf{X}}$ 是 $\boldsymbol{\mu}$ 的极大似然估计，$\frac{1}{n} \mathbf{S}$ 是 $\mathbf{V}$ 的极大似然估计。

4.3.1 Theorem: 多元正态分布参数的UMVUE

设 $X_1, X_2, \ldots, X_n (n > p)$ 是多元正态总体 $N_p(\boldsymbol{\mu}, \mathbf{V})$ 的简单样本，且 $\mathbf{V} > \mathbf{0}$，则 $\overline{\mathbf{X}}$ 是 $\boldsymbol{\mu}$ 的一致最小方差无偏估计，$\frac{1}{n-1} \mathbf{S}$ 是 $\mathbf{V}$ 的一致最小方差无偏估计。

协方差矩阵的比较转换为矩阵二次型的比较，即对于协方差 $A, B$，若

$$x' A x \leq x' B x, \quad \forall x \in \mathbb{R}^p$$

则称 $A \leq B$，即 $B - A$ 是半正定矩阵。

4.3.2 Property: 样本均值和方差独立

$\overline{\mathbf{X}} \sim N_p\left(\boldsymbol{\mu}, \frac{1}{n} \mathbf{V}\right)$，且 $\overline{\mathbf{X}}$ 与 $\mathbf{S}$ 相互独立。

4.3.3 Property: 样本方差的分布

样本离差阵 $\mathbf{S}$ 服从自由度为 $n-1$ 的 Wishart 分布，即 $\mathbf{S} \sim W_p(n-1, \mathbf{V})$。

多元正态总体的假设检验

对于假设

$$H_0: \boldsymbol{\mu} = \boldsymbol{\mu}_0, \quad H_1: \boldsymbol{\mu} \neq \boldsymbol{\mu}_0$$

(1) 若总体协方差矩阵 $\boldsymbol{\Sigma}$ 已知
类比一维正态分布的检验，可以得到如下检验统计量

$$T = n(\bar{\boldsymbol{x}} - \boldsymbol{\mu}_0)'\boldsymbol{\Sigma}^{-1}(\bar{\boldsymbol{x}} - \boldsymbol{\mu}_0) \sim \chi^2(p)$$

故拒绝域为：

$$W = \left\{T^2 \geqslant \chi^2_{1-\alpha}(p)\right\}$$

(2) 若总体协方差矩阵 $\boldsymbol{\Sigma}$ 未知
类比一维正态分布的检验，可以得到如下检验统计量

$$T = \frac{n}{p}(n-p) (\bar{\boldsymbol{x}} - \boldsymbol{\mu}_0)'\mathbf{S}^{-1}(\bar{\boldsymbol{x}} - \boldsymbol{\mu}_0) \sim F(p,n-p)$$

故拒绝域为：

$$W = \left\{T \geqslant F_{1-\alpha}(p,n-p)\right\}$$