3.1.* Definition: 参数假设检验
凡是在总体分布形式已知的条件下，对总体分布中的参数进行假设检验的统计方法，称为参数假设检验。
假设检验的基本思想是：在假设成立的条件下，计算一个样本统计量的值，然后根据这个值与相应的抽样分布进行比较，以确定是否拒绝原假设。
3.1.* Definition: 原假设和备择假设
设总体分布为 $\{ p(x;\theta ):\theta \in \Theta \}$a，关于参数的推测 $\theta \in \overline{\Theta }\subset \Theta$ 称为假设，记为 $H: \theta \in \overline{\Theta}$。
若 $\overline{\Theta } = \{ \theta _0\}$，则称为简单假设，否则称为复合假设。
在假设检验中，常涉及两个假设，称索要检验的假设为原假设，记为 $H_0$；另一个假设称为备择假设，记为 $H_1$。
3.1.* Definition: 拒绝域
通常根据统计量与参数的偏差程度来判断是否拒绝原假设，即依据 $\left| T - \theta \right| \geqslant c$ 来判断是否拒绝原假设，其中 $T$ 为统计量，$\theta$ 为参数，$c$ 为临界值。显然该不等式将样本空间划分为两部分：
$$\begin{gathered} W = \left\{ (x_1, \cdots, x_n) : T(x _1, \cdots, x _n ) \geqslant c \right\} \\ W^c = \left\{ (x_1, \cdots, x_n) : T(x _1, \cdots, x _n ) < c \right\} \end{gathered}$$其中 $W$ 称为拒绝域，$W^c$ 称为接受域。
在假设检验中，引入示性函数
称其为检验函数，当 $\varphi(x) = 1$ 时，拒绝 $H_0$；当 $\varphi(x) = 0$ 时，接受 $H_0$。这种检验称为非随机化检验。
随机化检验是先定义取值于区间 $[0,1]$ 的样本的函数 $\varphi(x)$，当获得样本 $x$ 后，计算函数值 $\varphi(x)$，然后以 $p = \varphi(x)$ 为成功的概率作 Binomial 试验，若试验成功就拒绝 $H_0$，否则就接受 $H_0$。
令检验函数为
其中 $r \in (0,1), W_1 \cup W_2 \cup W_3 = X$。
$\varphi (x)$ 其代表了观察值为 $x$ 时拒绝原假设的可能性。
$E(\varphi (x))$ 其代表了拒绝的平均概率，对 $x$ 所有的可能的值。
假设检验的本质是给出拒绝域。
3.1.* Definition: 第一/二类错误
当原假设$H_0$本来成立时，样本观察值却落入拒绝域$W$，我们错误地拒绝了$H_0$，这种错误通常称为第一类错误或“弃真”错误，其概率为
\[\alpha (\theta) = P_\theta\{x \in W\}, \theta \in \Theta_0\]其二，当原假设$H_0$本来不成立时，样本观察值却落入接受域$W^c$，我们错误地接受了$H_0$，从而犯了“取伪”错误，称之为第二类错误，其概率为
\[\beta(\theta) = P_ \theta \{x \notin W\} = 1 - P_0\{x \in W\}, \quad \theta \in \Theta_1\]
3.1.1 Definition: 势和势函数
称$H_0$不成立时拒绝$H_0$的概率，即
\[\gamma(\theta) = P_ \theta \{x \in W\} = 1 - \beta(\theta), \theta \in \Theta_1\]为一个检验的势。
一个检验犯第一类错误的概率和势可以看成是函数
\[g(\theta) = P_ \theta \{x \in W\} = E_0(\varphi(x)), \theta \in \Theta\]的不同取值，这个函数称为势函数。
当$\theta \in \Theta_0$时，$g(\theta) = \alpha (\theta)$；当$\theta \in \Theta_1$时，$g(\theta) = \gamma(\theta)$。
对于非随机化检验，$\alpha(\theta ) = E(\varphi(x)), \theta \in \Theta _0$，即犯一类错误的概率为原假设成立时检验函数的期望。
3.1.2 Definition: 显著性水平
对给定的$\alpha \in (0,1)$，若检验函数$\varphi(x)$对所有的参数$\theta \in \Theta_0$，满足$E_\theta(\varphi(x)) \leqslant \alpha$，则称$\varphi(x)$是一个显著性水平为$\alpha$的检验函数，简称水平为$\alpha$的检验。
显著性水平是检验的一个重要指标，它反映了检验的严格程度，即犯一类错误的概率不超过 $\alpha$。$\alpha$ 越小，越容易接受原假设，相应的临界值越大。
实际计算中常用 $p$-value($p$ 值)，它表示给定一组样本观察值 $x_1, \cdots , x_n$，构造的检验统计量 $T = T(x_1, \cdots , x_n)$，则$p = P_{\theta_0}(|z| \geq |T|)$，是基于已给的观察数据能作出拒绝原假设 \(H_0\) 决定的最小显著性水平，即将 $T$ 作为拒绝的临界值。也就是说，只要所给的显著性水平 \(\alpha\) 大于 $p$ 值，就拒绝原假设 \(H_0\)。
假设检验的原理是基于反证法。由于 \(\alpha\) 是很小的正数，所以当 \(H_0\) 成立时，事件 \(\left\{ T \geq z_{1-\frac{\alpha}{2}} \right\}\) 是一个小概率事件。小概率事件在一次试验中实际上是几乎不可能发生的，即如果 \(H_0\) 成立，则事件 \(\left\{ T \geq z_{1-\frac{\alpha}{2}} \right\}\) 几乎不可能发生。
3.4.* Definition: 似然比检验
设 $x_1, x_2,\cdots, x_n$ 是来自密度函数为 $p(x;\theta)(\theta\in\Theta)$ 的总体的简单样本,考虑简单原假设对简单备择假设的检验问题
$$H_0:\theta=\theta_0,\quad H_1:\theta=\theta_1\quad\left(\theta_1>\theta_0\right)$$其中 $\theta_0$ 和 $\theta_1$ 已知。构造似然比
$$\lambda(x)=\frac{p\left(x_1, x_2,\cdots, x_n;\theta_1\right)}{p\left(x_1, x_2,\cdots, x_n;\theta_0\right)}$$其中 $x$ 表示样本点 $\left(x_1, x_2,\cdots, x_n\right)$。令拒绝域为 $W=\left\{(x_1,\cdots ,x_n):\lambda(x)\geqslant c\right\}$，其中 $c$ 由 $P_{\theta _0}\left \{ \lambda (x) \geqslant c \right\} \leqslant \alpha$ 确定。
一般来说 $\lambda (x)$ 的表达式较为复杂，故若能通过构造常见统计量 $z$，并使得 $\lambda (x)$ 为 $z$ 的单调增函数，能够大大简化运算。即构造下列公式转换为求 $c_1$：
对一般的假设检验问题
类似地可以定义似然比检验统计量
为了计算最大值方便，例如，若原假设 $H_0$ 和备择假设 $H_1$ 的分布类型相同，且 $\Theta=\Theta_0\cup\Theta_1$，也定义似然比检验统计量
此时由于 $\Theta_0\subset\Theta$，所以有 $\lambda(x)\geqslant 1$。
对于似然比假设检验，拒绝域的形式为
其中临界值 $c$ 可由不等式
确定，其中 $\theta_0\in\Theta_0$。
若似然比统计量是 $\lambda(x)$，拒绝域是 $W=\left\{\left(x_1, x_2,\cdots, x_n\right):\lambda(x)\geqslant c\right\}$，在做统计推断时需要利用犯第一类错误的概率不超过显著性水平 $\alpha$ 来确定待定常数 $c$。一般情形下，似然比统计量的精确分布很难获得，这导致拒绝域 $W=\{x:\lambda(x)\geqslant c\}$ 中的临界值 $c$ 不易直接求得。有三种方法可以解决此问题。
其一，化简 $\lambda(x)$ 使其成为某个具有常见分布的统计量 $T(x)$ 的函数，如 $T(x)$ 服从标准正态分布、$\chi^2$ 分布等，再设法求出由 $T(x)$ 确定的拒绝域的临界值。
其二，在一定的条件下，可以给出 $\lambda(x)$ 的极限分布。因而，当样本容量 $n$ 很大时，利用极限分布可给出 $c$ 的近似值。
其三，利用 Monte-Carlo 模拟获得临界值 $c$ 的近似值。
对于一个检验，若其犯错误的概率较小，其检验效果较好。但一般来说，给定样本容量，犯第一类错误的概率 $\alpha$ 越小，犯第二类错误的概率 $\beta$ 就越大，反之亦然。所以一般控制犯第一类错误的概率 $\alpha$，然后使得犯第二类错误的概率 $\beta$ 较小。
3.5.1 Definition: 最优势检验
对假设简单检验问题，如果存在水平为 $\alpha$ 的检验函数 $\varphi^* \in \Phi_\alpha$，即 $\Phi_a = \{\varphi: E_{\theta_0}(\varphi(x)) \leq \alpha\}$，使得对任一水平为 $\alpha$ 的检验函数 $\varphi \in \Phi_\alpha$，都有不等式
$$E_{\theta_1}(\varphi^*(x)) \geqslant E_{\theta_1}(\varphi(x))$$成立，则称检验函数 $\varphi^*$ 为假设检验问题的水平为 $\alpha$ 的最优势检验（Most Powerful Test），简称 MPT。
3.5.1 Lemma: Neyman-Pearson 引理
给定水平 $a(0 < a < 1)$，对简单假设检验问题有
(1) 存在常数 $k \geqslant 0$ 及检验函数
$$\varphi(x)=\left\{\begin{array}{l} 1,\ \lambda(x)>k\\ 0,\ \lambda(x)<k\end{array}\right.$$满足
$$E_{\theta_0}(\varphi(x))=a$$即 $\varphi \in \Phi_a$，且检验函数 $\varphi(x)$ 是水平为 $a$ 的最优势检验，其中 $\lambda(x)=\frac{p(x;\theta_1)}{p(x;\theta_0)}$ 是似然比统计量。
(2) 如果检验函数 $\varphi(x)$ 是水平为 $a$ 的最优势检验，则必存在常数 $k \geqslant 0$，使得检验函数 $\varphi(x)$ 满足式一。进一步，如果 $\varphi(x)$ 的势 $E_0(\varphi(x))<1$，则 $\varphi(x)$ 也满足式二。
使用 N-P 引理寻找最优势检验时，应注意：
(1) 当似然比 $\lambda(x)$ 为连续型随机变量时，MPT 的检验函数可取为非随机化形式
其中常数 $k$ 由 $E_{\theta_0}(\varphi(x)) = \alpha$ 确定，这是因为 $P_{\theta_0}\{\lambda(x) = k\} = 0$。此时拒绝域具有形式 $W = \{x: \lambda(x) \geq k\}$。
(2) 当似然比 $\lambda(x)$ 为离散型随机变量时，最优势检验的检验函数具有形式
其中常数 $k$ 由 $P_{\theta _0}\{\lambda(x) \geqslant k\} \geqslant a \geqslant P_{\theta _0}\{\lambda(x) > k\}$ 确定。
设总体分布族为 $\{p(x;\theta):\theta\in\Theta\}$，考虑假设检验问题
将水平为 $\alpha$ 的所有检验函数的集合记为
3.5.2 Definition: 一致最优势检验
对复合假设检验问题，若存在水平为 $\alpha$ 的检验函数 $\varphi^* \in \Phi_\alpha$，使得对任一水平为 $\alpha$ 的检验函数 $\varphi \in \Phi_\alpha$ 有不等式
$$E_\theta\left(\varphi^{*}(x)\right) \geqslant E_\theta\left(\varphi(x)\right)$$对所有的 $\theta \in \Theta_1$ 都成立，则称 $\varphi^*(x)$ 是水平为 $\alpha$ 的一致最优势检验（Uniformly Most Powerful Test），简记为 UMPT。
对复合假设检验问题而言，一致最优势检验的存在性不但与总体的分布有关，而且与所考虑的假设检验问题有关。
3.5.1 Theorem: 单边复合假设检验的最优势检验
如果样本 $x_1, x_2, \cdots, x_n$ 的联合密度函数 $p(x;\theta)(\theta\in\Theta)$ 是单参数的并可以表示为
$$p(x;\theta)=d(\theta) h(x)\exp\{c(\theta) T(x)\}$$其中 $\theta$ 是实值参数，且 $c(\theta)$ 关于 $\theta$ 是严格单调增函数，则对单侧检验问题
$$H_0:\theta\leqslant\theta_0, H_1:\theta>\theta_0$$(1) 水平为 $\alpha$ 的一致最优势检验存在，其检验函数为
$$\varphi^*(x)=\left\{\begin{array}{l} 1,\quad T(x)>c\\ r,\quad T(x)=c\\ 0,\quad T(x)<c\end{array}\right.$$其中常数 $c$ 和 $r\in[0,1]$ 由 $E_{\theta _0}\left(\varphi^{*}(x)\right)=a$ 确定。
(2) 水平为 $\alpha$ 的一致最优势检验 $\varphi^{*}(x)$ 的势函数 $E_{\theta}\left(\varphi^{*}(x)\right)$ 是 $\theta$ 的单调增函数。
对于其他单侧检验问题，可以进行转换，使其满足上述条件。
(2) 如果 $c(\theta)$ 是 $\theta$ 的严格单调减函数，则定理的结论同样成立，只需要将式中的不等号改变方向。
(3) 对假设检验问题
定理的结论全部成立。
(4) 对假设检验问题
可以分别化为假设检验问题
和
3.5.2 Theorem: 双边复合假设检验的最优势检验
如果样本 $x_1, x_2, \cdots, x_n$ 的联合密度函数 $p(x;\theta)(\theta\in\Theta)$ 是单参数的并可以表示为
$$p(x;\theta)=d(\theta) h(x)\exp\{c(\theta) T(x)\}$$其中 $\theta$ 是实值参数，且 $c(\theta)$ 关于 $\theta$ 是严格单调增函数，则对双侧假设检验问题
$$H_0: \theta \leqslant \theta_1 \text{ 或 } \theta \geqslant \theta_2, H_1: \theta_1 < \theta < \theta_2$$存在水平为 $\alpha$ 的一致最优势检验，其检验函数为
$$\varphi^*(x)=\left\{\begin{array}{l} 1,\quad c_1 < T(x) < c_2\\ r_i,\quad T(x)=c_i, i=1,2\\ 0,\quad T(x) < c_1 \text{ 或 } T(x) > c_2\end{array}\right.$$其中 4 个常数 $r_i, c_i(i=1,2)$ 由下面两式确定
$$E_{\theta_1}\left(\varphi^*(x)\right)= E_{\theta_2}\left(\varphi^*(x)\right)=\alpha$$
由于对于某些双边检验，其不存在一致最优势检验，故引入一致最优势无偏估计。
3.5.3 Definition: 无偏检验
设 $\varphi(x)$ 是假设检验问题
$$H_0:\theta\in\Theta_0,\quad H_1:\theta\in\Theta_1$$的检验函数，若其势函数 $g_{\varphi}(\theta)=E_\theta(\varphi(x))$ 满足
$$\left\{ \begin{align*}& g_{\varphi}(\theta)\leqslant \alpha ,\quad\theta\in\Theta_0\\ & g_{\varphi}(\theta)\geqslant \alpha ,\quad\theta\in\Theta_1\end{align*} \right.$$则称 $\varphi(x)$ 是水平为 $a$ 的无偏检验（Unbiased Test）。
显然，水平为 $\alpha$ 的一致最优势检验一定是无偏检验。
3.5.4 Definition: 一致最优势无偏检验
在假设检验问题
$$H_0:\theta\in\Theta_0, H_1:\theta\in\Theta_1$$中，若存在一个水平为 $\alpha$ 的无偏检验函数 $\varphi^*(x)$，使得对任一水平为 $\alpha$ 的无偏检验函数 $\varphi(x)$，不等式
$$E_0\left(\varphi^*(x)\right) \geqslant E_0(\varphi(x))$$对所有的 $\theta\in\Theta_1$ 都成立，则称检验函数 $\varphi^*(x)$ 是水平为 $\alpha$ 的一致最优势无偏检验（Uniformly Most Powerful Unbiased Test），简记为 UMPUT。
3.5.3 Theorem: 双边复合假设检验的一致最优势无偏检验
如果样本 $x_1, x_2, \cdots, x_n$ 的联合密度函数（或分布列） $p(x;\theta)(\theta\in\Theta)$ 是单参数的并可以表示为
$$p(x;\theta)=d(\theta) h(x)\exp\{c(\theta) T(x)\}$$其中 $\theta$ 是实值参数，且 $c(\theta)$ 关于 $\theta$ 是严格单调增函数，则对双侧检验问题
$$H_0:\theta_1\leqslant\theta\leqslant\theta_2, H_1:\theta<\theta_1 \text{ 或 } \theta>\theta_2$$和任一水平 $\alpha (0<\alpha <1)$，存在一致最优势无偏检验，其检验函数为
$$\varphi^*(x)=\left\{\begin{array}{l} 1,\quad T(x)<c_1 \text{ 或 } T(x)>c_2\\ r_i,\quad T(x)=c_i, i=1,2\\ 0,\quad c_1<T(x)<c_2\end{array}\right.$$其中 4 个常数 $r_i, c_i(i=1,2)$ 由下面两式确定
$$E_{\theta_1}(\varphi^*(x))=\alpha , E_{\theta_2}(\varphi^*(x))=\alpha$$
3.5.4 Theorem: 双边复合假设检验的一致最优势无偏检验
如果样本 $x_1, x_2, \cdots, x_n$ 的联合密度函数（或分布列） $p(x;\theta)(\theta\in\Theta)$ 是单参数的并可以表示为
$$p(x;\theta)=d(\theta) h(x)\exp\{c(\theta) T(x)\}$$其中 $\theta$ 是实值参数，且 $c(\theta)$ 关于 $\theta$ 是严格单调增函数，则对双侧假设检验问题
$$H_0:\theta=\theta_0,\quad H_1:\theta\neq\theta_0$$和任一给定的水平 $\alpha (0<\alpha <1)$，存在一致最优势无偏检验，其检验函数为
$$\varphi^*(x)=\left\{\begin{array}{l} 1,\quad T(x)<c_1 \text{ 或 } T(x)>c_2\\ r_i,\quad T(x)=c_i, i=1,2\\ 0,\quad c_1<T(x)<c_2\end{array}\right.$$其中 4 个常数 $r_i, c_i(i=1,2)$ 由下面两式确定
$$E_0\left(\varphi^*(x)\right)=\alpha , E_0\left[T(x)\varphi^*(x)\right]=\alpha E_0[T(x)]$$