Contents
▶︎
all
running...


第一章 线性代数引论

1.1.2 Definition: 向量空间

设$V$是$n$维实向量的非空集合，若$V$对向量的加法和数乘两种运算都封闭，即对于任意向量$a, b \in V$和$k$，都有$a+b \in V$（对向量的加法封闭）和$ka \in V$（$V$对向量的数乘封闭）,则称集合$V$为向量空间.

1.1.3 Definition: 数域

设$F$是非空数集,若$F$中任意两个数的和、差、积、商(除数不为0)仍在该数集,即对四则运算封闭,则称该数集$F$为一个数域.

1.1.4 Definition: 线性空间

设$V$是一个非空集合, $F$是一个数域. $V$上定义加法运算,记为"+",其对于 $\forall \alpha , \beta$, 都有唯一的元素$\alpha+\beta$ 与之对应; 定义数乘运算,记为"$\cdot$",对于$\forall k \in F, \alpha \in V$, 都有唯一元素$k\alpha$与之对应.
并且满足以下条件:

  1. 加法交换律: $\alpha + \beta = \beta + \alpha$
  2. 加法结合律: $(\alpha + \beta) + \gamma = \alpha + (\beta + \gamma)$
  3. 加法单位元: 存在一个元素$0 \in V$, 使得$\alpha + 0 = \alpha$
  4. 加法逆元: 对于$\forall \alpha \in V$, 存在一个元素$-\alpha \in V$, 使得$\alpha + (-\alpha) = 0$
  5. 数乘结合律: $k(\alpha + \beta) = k\alpha + k\beta$
  6. 数乘分配律: $(k + l)\alpha = k\alpha + l\alpha$
  7. 数乘结合律: $(kl)\alpha = k(l\alpha)$
  8. 数乘单位元: $1\alpha = \alpha$
    其中$\alpha ,beta, \gamma$为$V$中的元素, $k, l$为$F$中的元素. 则$V$称为数域$F$上的线性空间, 记为$(V, +, \cdot)$.
1.2.1 Definition: 线性子空间

若$W \subset V$, 且$W$对于$V$的加法和数乘封闭, 则称$W$为$V$的线性子空间.

1.2.1 Theorem: 子空间判别法

若$W \subset V$, 以下条件等价:

  1. $W$是$V$的线性子空间
  2. $W$对于$V$的加法和数乘封闭, 即对$\forall k, l \in F, \alpha, \beta \in W$, 有$k\alpha + l\beta \in W$
Proof:

2 $\Rightarrow$ 1
$W$ 对加法和数乘封闭, 且由于$W$是$V$的子集, 关于加法和数乘的八条性质自然满足, 所以$W$是$V$的线性子空间.

{注}: 子空间和空间的零元是相同的.(零元的唯一性)

1.2.2 Theorem: 交空间和和空间

若$W_1, W_2$是$V$的线性子空间, 则$W_1 \cap W_2$和$W_1 + W_2$也是$V$的线性子空间.

Proof:

交空间是线性子空间是显然的,下面证明和空间是线性子空间.
$\forall \alpha, \beta \in W_1 + W_2$, 有 $\alpha = \alpha_1 + \alpha_2, \beta = \beta_1 + \beta_2, \alpha_1, \beta_1 \in W_1, \alpha_2, \beta_2 \in W_2$.
则 $\alpha + \beta= \alpha _1 + \alpha _2 + \beta _1 + \beta _2 = (\alpha _1 + \beta _1) + (\alpha _2 + \beta _2) \in W_1 + W_2$
对于$\forall k \in F$, 有$k\alpha = k(\alpha _1 + \alpha _2) = k\alpha _1 + k\alpha _2 \in W_1 + W_2$
所以$W_1 + W_2$是$V$的线性子空间.

{注}: $W_1 \cap W_2$是包含于$W_1, W_2$的最大子空间, $W_1 + W_2$是包含$W_1, W_2$的最小子空间.

Proof:

$W_1 \cap W_2$是包含于$W_1, W_2$的最大子空间是显然的.
$W_1 + W_2$包含$W_1, W_2$是显然的, 下面证明$W_1 + W_2$是包含$W_1, W_2$的最小子空间.
设$W$是包含$W_1, W_2$的子空间, 则$\forall \alpha \in W_1, \beta \in W_2$, 有$\alpha + \beta \in W$, 所以$W_1 + W_2 \subset W$.

{思考}: 对于$A \in \mathbb{C}^{n\times n}$ , R(A) 和 N(A) 可能相等吗?

Answer:

可能的, 例如$A =\begin{bmatrix}0 & 1 \\0 & 0 \end{bmatrix}$
显然其$R(A) = N(A) = \begin{bmatrix}x \\0 \end{bmatrix}$
可以拓展这个问题, 看一下$R(A) = N(A)$的矩阵的性质.
$R(A^T) \perp N(A), rank(A^T) = rank(A) = n - N(A)$
$rank(A) = n/2$, 显然n是偶数. $R(A^T) \perp R(A)$
同时可以发现$A^2 = 0$, $A^2 = A[a_1, \cdot ,a_n ] = [A a_1, \cdot , Aa_n]$, 由于$A$的行向量与列向量正交, 所以$A^2 = 0$.

1.3.1 Definition: 线性无关和相关

设$V$是数域$F$上的线性空间, $a_1, \cdots,a_n$是$V$中一组向量，若向量方程$k_1a_1 + \cdots + k_na_n = 0$只有零解, 则称$a_1, \cdots,a_n$线性无关; 否则称线性相关.

{注}:

  1. 单个非零向量是线性无关的.
  2. 零向量和任何向量都是线性相关的, 但他们也是正交的.
  3. 这里的数域和线性空间是任意的, 不一定是实数域和实数线性空间.
1.3.2 Definition: 极大线性无关组

若$\alpha _1, \alpha _2, \cdots , \alpha _n$ 是$V$中的一组向量, 若存在$r$个线性无关的向量$\alpha _1, \cdots , \alpha _r$,且$\alpha _1, \cdots ,\alpha _n$ 中任一向量都可由这$r$个向量表示, 则称$\alpha _1, \cdots , \alpha _r$是$\alpha _1, \cdots , \alpha _n$的一个极大线性无关组.其个数称为向量组的秩.

1.3.3 Definition: 基

若$\alpha _1, \cdots , \alpha _n$张成$V$, 且$\alpha _1, \cdots , \alpha _n$线性无关, 则称$\alpha _1, \cdots , \alpha _n$是$V$的一个基.

1.3.4 Definition: 坐标

若$x_1, \cdots , x_n$是$F$上$V$的一组基, $\alpha \in V$, 则$\alpha$可唯一表示为$\alpha = x_1\alpha _1 + \cdots + x_n\alpha _n$,其中$\alpha _i \in F$, 称$x_1, \cdots , x_n$是$\alpha$在基$x_1, \cdots , x_n$下的坐标.

{注}: 我们需要转变观点,这里的$F$和$V$都可能不是实数域和实数线性空间.

1.3.5 Definition: 过渡矩阵

若$x_1, \cdots , x_n$和$y_1, \cdots , y_n$是$F$上$V$的两组基, 则存在一个$n \times n$的矩阵$A$, 使得$y = Ax$, 其中$y = (y_1, \cdots , y_n)^T, x = (x_1, \cdots , x_n)^T$.

{注}: 过渡矩阵描述了两组基之间的关系, 据此可以求解坐标的变换.
$\forall x \ \in V$, 若$x = \sum_{i=1}^{n}\alpha _i x_i = \sum_{i=1}^{n}\beta _i y_i$, 则有$\beta = A\alpha$.

1.3.6 Definition: 维数

线性空间$V$中, 所有线性无关组中, 向量个数最大的称为维数, 记为$\dim V$.

1.3.3 Theorem: 基与维数

设$V$是有限维线性空间, 则$\dim V=n$, 当且仅当$V$的任意一组基都有$n$个向量.

Proof:

必要性.由 $\operatorname{dim} V=n$ 知，线性空间 $V$ 中必存在一组线性无关的向量 $x_1, \cdots, x_n$。假设对任意向量 $y \in V$，有

$$k_1 x_1 + \cdots + k_n x_n + k_{n+1} y = \theta$$
若 $k_{n+1} = 0$，则必有 $k_1 = \cdots = k_n = 0$。由此，$x_1, \cdots, x_n, y$ 线性无关，这表明线性空间 $V$ 的维数大于 $n$，故与 $\operatorname{dim} V = n$ 矛盾。因此，$k_{n+1} \neq 0$ 且有
$$y = -\frac{k_1}{k_{n+1}} x_1 - \cdots - \frac{k_n}{k_{n+1}} x_n$$
即：$V$ 中任一向量均可由 $x_1, \cdots, x_n$ 线性表示，所以 $x_1, \cdots, x_n$ 是 $V$ 的一组基。

充分性:
显然对于最大的线性无关组可以用基表示, 所以$\dim V=n$.

{注}: 这里谈论的是有限维线性空间, 若不是线性空间, 则没有维数的说法.

1.3.1 Corollary: 基扩充

$n$ 维线性空间中, 任意线性无关向量组都可以扩充为一组基.

Proof:

若线性无关组大小已经为$n$, 则已经是基, 否则利用 Gram-Schmidt 过程扩充即可.

{注}: 构造一组基的时候, 优先利用扩充原则.

1.3.4 Theorem: 维数定理

若$W_1$ 和$W_2$ 为子空间, 则有$\dim (W_1 + W_2) = \dim (W_1) + \dim (W_2) - \dim (W_1 \cap W_2)$

Proof:

设$\dim W_1=n_1, \dim W_2=n_2, dim(W_1 \cap W_2) = r$, 取$W_1 \cap W_2$一组基为$\epsilon _1, \cdots, \epsilon _r$, 扩充为$W_1$的一组基$\epsilon _1, \cdots, \epsilon _r, \epsilon _{r+1}, \cdots, \epsilon _{n_1}$, 扩充为$W_2$的一组基$\epsilon _1, \cdots, \epsilon _r, \eta _{r+1}, \cdots, \eta _{n_1}$, 则$\epsilon _1, \cdots, \epsilon _r, \epsilon _{r+1}, \cdots, \epsilon _{n_1}, \eta _{r+1}, \cdots, \eta _{n_2}$是$W_1 + W_2$的一组基, 所以$\dim (W_1 + W_2) = n_1 + n_2 - r$.

{注}: 这个定理可以用来求解两个子空间的维数和, 从而求解两个子空间的交集的维数.

{注}: 一般来说, $\dim{W_1 + W_2}$ 较为简单, 可合并$W_1$和$W_2$的基, 然后求秩即可.

Proof:

由于$W_1 + W_2$是包含$W_1, W_2$的最小线性空间, 所以$W_1 + W_2$与张成$W_1, W_2$基数量相同.

1.4.1 Definition: 内积空间

设$V$是数域$F$上的线性空间, 若$V$中定义了一个映射$(\cdot, \cdot): V \times V \rightarrow F$, 满足:

  1. $(\alpha, \beta) = \overline{(\beta, \alpha)}$
  2. $(\alpha, \alpha) \geq 0$, 且$(\alpha, \alpha) = 0$当且仅当$\alpha = 0$
  3. $(k\alpha, \beta) = k(\alpha, \beta)$
  4. $(\alpha + \beta, \gamma) = (\alpha, \gamma) + (\beta, \gamma)$

其中$\alpha, \beta, \gamma \in V, k \in F$, 则称$V$是一个内积空间.
有限维的实内积空间称为欧氏空间, 有限维的复内积空间称为酉空间.

1.4.1 Example: 不同数域内积空间

$\mathbb{R}^n$空间中，取$x = (x_1, x_2, \cdots, x_n), y = (y_1, y_2, \cdots, y_n)$, 则定义$(x, y) =y^Tx= x_1y_1 + x_2y_2 + \cdots + x_ny_n$即为内积.
在$\mathbb{C}^n$空间中，取$x = (x_1, x_2, \cdots, x_n), y = (y_1, y_2, \cdots, y_n)$，则定义$(x, y) = y^H x = x_1 \bar{y_1} + x_2 \bar{y_2} + \cdots + x_n \bar{y_n}$即为内积.

1.4.2 Definition: Hermite矩阵

若矩阵$A$满足$A = A^H$, 则称$A$为Hermite矩阵.

{注}: 补充线性代数中 二次型

{思考}: 是否存在非对称实矩阵$A$使得$f(x)$是正定的?

Answer:

存在, 例如$A = \begin{bmatrix}1 & 2 \\0 & 1 \end{bmatrix}$, 则$f(x) = x^TAx = x_1^2 + 2x_1x_2 + x_2^2 = (x_1 + x_2)^2$是正定的. 本质上来说, 非对称实矩阵的二次型可以转换为对称实矩阵的二次型.

1.4.4 Definition: 度量矩阵

设$\eta _1, \cdot, \eta_n$为内积空间的一组基, 则矩阵$G = ((\eta _i, \eta _j))_{n \times n}$称为度量矩阵.

{注}: 确定了度量矩阵就确定了内积.
设$x = \sum_{i=1}^{n}x_i\eta _i, y = \sum_{i=1}^{n}y_i\eta _i$, 则有$(x, y) = x^HGy$.
由于$(x,y) = \overline{(y, x)}$,且$(x,x) \geq 0$, $G$是正定对称的

1.4.1 Proposition: 度量矩阵性质

设$G(\epsilon _1, \cdots ,\epsilon _n)$和$G(\eta _1, \cdots ,\eta _n)$是内积空间$V$的两组基的度量矩阵, 则有:

  1. 度量矩阵$G$是正定对称(Hermite)的, 且$G$的逆矩阵$G^{-1}$也是正定(Hermite)的.
  2. $G(\epsilon _1, \cdot , \epsilon _n)$ 和 $G(\eta _1, \cdot , \eta _n)$之间的关系为$G(\eta _1, \cdot , \eta _n) = P^HG(\epsilon _1, \cdot , \epsilon _n)P$, 其中$P$是过渡矩阵.
1.4.5 Definition: 长度

设$F$是实数域和复数域,$V$ 是内积空间, $\alpha \in V$, 则$\alpha$的长度定义为$||\alpha|| = \sqrt{(\alpha, \alpha)}$.

1.4.2 Proposition: 长度性质
  1. $||\alpha|| \geq 0$, 且$||\alpha|| = 0$当且仅当$\alpha = 0$.
  2. $||k\alpha|| = |k|||\alpha||$.
  3. $||\alpha + \beta|| \leq ||\alpha|| + ||\beta||$.
1.4.1 Theorem: Cauchy Schwarz 不等式

设$V$是内积空间, $\alpha, \beta \in V$, 则有$|(\alpha, \beta)| \leq ||\alpha|| \cdot ||\beta||$. 当且仅当$\alpha$和$\beta$线性相关时取等号.

Proof:

当 \(x = \theta\) 时，该不等式显然成立。当 \(x \neq \theta\) 时，对任意向量 \(x, y \in V\) 和 \(a \in F\)，有 \(a x + y \in V\) 且 \((a x + y, a x + y) \geqslant 0\)。由此，

\[|a|^2 \|x\|^2 + \bar{a}(x, y) + a \overline{(x, y)} + \|y\|^2 \geqslant 0\]
取 \(a = -\frac{(x, y)}{\|x\|^2}\)，并代入上式可得
\[|(x, y)| \leqslant \|x\| \|y\|\]
现考虑等号成立条件。当 \(x, y\) 线性相关时，存在数 \(k \in F\) 使得 \(x = k y\)，那么有 \(|(x, y)| = \|x\| \|y\|\)。反之，当 \(|(x, y)| = \|x\| \|y\|\) 时，若 \(x = \theta\) 或 \(y = \theta\) 时，\(x, y\) 线性相关；若 \(x, y\) 均为非零向量，且假设 \(x, y\) 线性无关，则对任意 \(a \in F\) 有 \(a x + y \neq \theta\)，即
\[(a x + y, a x + y) > 0\]
取 \(a = -\frac{(x, y)}{\|x\|^2}\)，并代入上式可得
\[|(x, y)|^2 < (x, x)(y, y) = \|x\|^2 \|y\|^2\]
与假设 \(|(x, y)| = \|x\| \|y\|\) 矛盾，故假设 \(x, y\) 线性无关不成立，即 \(x, y\) 线性相关。证毕。
可能需要参考内积运算规则

1.4.1 Corollary: 三角不等式

设$V$是内积空间, $\alpha, \beta \in V$, 则有$||\alpha + \beta|| \leq ||\alpha|| + ||\beta||$.

Proof:

由于两边都非负, 将原不等式两边平方，展开得

\[\|x\|^2 + 2(x, y) + \|y\|^2 \leqslant \|x\|^2 + 2\|x\| \|y\| + \|y\|^2\]
即
\[(x , y) \leqslant \|x\| \|y\|\]
由内积的定义可知，上式成立。证毕。

1.4.6 Definition: 向量夹角

设$V$是实内积空间, $\alpha, \beta \in V$, 则$\theta$是$\alpha$和$\beta$的夹角, 定义为$\cos \theta = \frac{(\alpha, \beta)}{||\alpha|| \cdot ||\beta||}$, 即 $\theta = \langle \alpha , \beta \rangle = \arccos \frac{(\alpha, \beta)}{||\alpha|| \cdot ||\beta||}$.

1.4.* Proposition: $G(x_1, \cdots , x_n)$几何意义

$\left| G(x_1, \cdot , x_n) \right|$ 表示$x_1, \cdots , x_n$张成的$n$维平行体的体积.

1.4.7 Definition: 正交向量

设$V$是内积空间, $\alpha, \beta \in V$, 若$(\alpha, \beta) = 0$, 则称$\alpha$和$\beta$正交, 记为$\alpha \perp \beta$. 一组非零两两正交的向量称为正交向量组.

{注}: 零向量和任何向量都是正交的.
勾股定理: 若$\alpha \perp \beta$, 则有$||\alpha + \beta||^2 = ||\alpha||^2 + ||\beta||^2$.
推广: 若$\alpha _1, \cdots , \alpha _n$两两正交, 则有$||\alpha _1 + \cdots + \alpha _n||^2 = ||\alpha _1||^2 + \cdots + ||\alpha _n||^2$.

1.4.9 Example: 正交基的内积空间

设$\eta_1, \cdots , \eta_n$是内积空间 $V$的一组标准正交基, 则 $\forall \alpha = [\alpha _1, \cdots ,\alpha _n]^T, \beta = [\beta _1, \cdots , \beta _n]^T$, 有$(\alpha, \beta)= \alpha ^H G \beta = \alpha ^H\beta = \sum_{i=1}^{n}\alpha _i\beta _i$ .

1.4.9 Definition: 向量正交于集合

设$V$是内积空间, $W$是$V$的子集, 若$\forall \alpha \in V, \beta \in W$, 有$(\alpha, \beta) = 0$, 则称$\alpha$正交于集合$W$.

1.4.10 Definition: 两集合正交

设$W_1, W_2$是内积空间$V$的两个子集, 若$\forall \alpha \in W_1, \beta \in W_2$, 有$(\alpha, \beta) = 0$, 则称$W_1$和$W_2$是正交的, 记为$W_1 \perp W_2$.

1.4.11 Definition: 子空间正交补

若$W$是线性空间$V$的线性子空间, 则集合$W^{\perp} = \{x \in V | (x, y) = 0, \forall y \in W\}$称为$W$的正交补.

1.4.3 Theorem: 正交子空间

设$W$为线性空间的子空间, 则$W$的正交补$W^{\perp}$也是$V$的子空间.

Proof:

显然 $W^ \perp \in V$, 下面证其线性性质.
设 $x \in W, y, z \in W^ \perp, k \in F$, 则有 $(x, y) = 0, (x, ky) = \bar{k} (x, y) = 0, (x, y+z) = (x, y) + (x, z) = 0$.

1.4.4 Theorem: 补空间

设$W$是线性空间$V$的子空间, 则$V = W \oplus W^{\perp}$.

Proof:

设$\dim V= m$, 其一组标准正交基为$x _1, \cdots, x _n$, 对于$\forall x \in V$, 零$\alpha _1 = (x, x_1)x_1 + \cdot + (x, x_m)x_m, \alpha _2 = x - \alpha _1$, 则有$\alpha _1 \in W, \alpha _2 \in W^{\perp}$, 因为

$$\begin{align*} (\alpha_{2}, x_{i}) &= (x - \alpha_{1}, x_{i}) = (x, x_{i}) - \left(\sum_{j=1}^{m} (x, x_{j}) x_{j}, x_{i}\right) \\ &= (x, x_{i}) - (x, x_{i})(x_{i}, x_{i}) = 0, \quad i = 1, 2, \cdots, m \end{align*}$$
, 所以$V \subset W_1+ W_2$, 又因为$W_1 \subset V, W_2 \subset V$是$V$的子空间, 所以$V = W_1+ W_2$.

{注}: 本文使用$\dotplus$和$\oplus$都表示直和和正交直和.

1.5.1 Definition: 直和与正交直和

设$W_1, W_2$是线性空间$V$的两个子空间, 若$W_1 + W_2$中任一向量都可由 $W_1$ 和 $W_2$中的向量之和唯一表示, 则称$W_1 + W_2$为$W_1$和$W_2$的直和, 记为$W_1 \dotplus W_2$.若$W_1$和$W_2$正交, 则称$W_1 + W_2$为$W_1$和$W_2$的正交直和, 记为$W_1 \oplus W_2$.

1.5.1 Theorem: 直和判定定理

设$W_1, W_2$是线性空间$V$的两个子空间, 则以下条件等价:

  1. $W_1 \dotplus W_2$.
  2. $W_1+W_2$的零元表示唯一.
  3. $W_1 \cap W_2 = \{0\}$.
  4. $\dim (W_1 + W_2) = \dim (W_1) + \dim (W_2)$
Proof:

(1) $\Rightarrow$ (2). 由于 $\theta \in W_1 + W_2$，根据定义 1.5.1 知，表达式

$$\theta = \theta_1 + \theta_2, \quad \theta_1 \in W_1, \theta_2 \in W_2$$
唯一，即 $W_1 + W_2$ 中零元素表示法唯一。
(2) $\Rightarrow$ (3). 对任意向量 $\alpha \in W_1 \cap W_2$，有
$$\theta = \alpha + (-\alpha)$$
式中：$\alpha \in W_1, -\alpha \in W_2$。
又知 $\theta \in W_1 + W_2$ 且零元素表示法唯一，故 $\alpha = \theta$。因此，$W_1 \cap W_2 = \{\theta\}$。
(3) $\Rightarrow$ (4). 若 $W_1 \cap W_2 = \{\theta\}$，则根据维数定理得
$$\operatorname{dim}(W_1 + W_2) = \operatorname{dim} W_1 + \operatorname{dim} W_2$$

1.5.4 Example: 幂等矩阵的列空间

设 $A \in \mathbb{C}^{n \times n}$, 若$A^2 = A$, 证明$\mathbb{C}^n = R(A) \dotplus R(I-A)$.

Proof:

对任意向量 $x \in C^n$，有

$$x = A x + (I - A) x$$
式中：$A x \in R(A), (I - A) x \in R(I - A)$。故 $C^n = R(A) + R(I - A)$。 设 $y \in (R(A) \cap R(I - A))$，则必存在向量 $x, z \in C^n$ 满足
$$y = A x = (I - A) z$$
对上式左右两端乘以 $A$ 得
$$A^2 x = A(I - A) z$$
整理得 $y = 0$。故 $R(A) \cap R(I - A) = \{0\}$。因此，$R(A) + R(I - A)$ 是直和。

1.5.2 Definition: 直和分解和正交直和分解

设$V$是线性空间, $W_1, W_2$是$V$的两个子空间, 若$V = W_1 + W_2$, 则称表达式$V = W_1 + W_2$为直和分解. 若$V = W_1 \oplus W_2$, 则称表达式$V = W_1 \oplus W_2$为正交直和分解, 且有$W_2 = W_1^{\perp}$.

1.5.3 Theorem: 零空间与行空间

设$A$是$m \times n$矩阵, 则有$\mathbb{R}^n = N(A) \oplus R(A^T)$.

1.5.3 Definition: 投影和正交投影

设$W_1$和$W_2$是线性空间$V$的两个子空间且$V = W_1 \dotplus W_2$, 且$\forall x \in V,$ 可以唯一分解成$x=y+z$,其中$y \in W_1, z \in W_2$, 则称向量$y$为向量$x$在$W$上的投影.特别地, 若$V = W_1$, 则称向量$y$为向量 $x$ 在 $W_1$上的正交投影.

{注}:

  1. 投影是线性的,$P(x+y) = P(x)+P(y)$ 且$P^2 = P$.
  2. 当选取一组正交基$x _1, \cdots, x _n$时, 投影的计算较为简单, $P(x) = \frac{(x, x _1)}{(x _1, x _1)}x _1 + \cdots + \frac{(x, x _n)}{(x _n, x _n)}x _n$.
  3. 投影的几何意义是将向量$x$投影到$W$上, 使得$x-y \perp W$.
1.5.1 Proposition: 投影公式

设$W$为$V$的线性子空间, $x _1, \cdots, x _n$为一组正交基, 则有$P(x) = \sum_{i=1}^{n}\frac{(x, x _i)}{(x _i, x _i)}x _i$.

Proof:

只需要证明$x-P(x)$与 $x _1, \cdots, x _n$正交即可.

1.5.5 Theorem: 最佳逼近定理

设$W$是有限维线性空间$V$的线性子空间, 则任一向量$x \in V$都有唯一的最佳逼近, 且$x$的最佳逼近是$x$在$W$上的正交投影.

Proof:

设 $x$ 是 $V$ 中任一向量，$z$ 是 $W$ 中任一向量，$y$ 是 $x$ 在 $W$ 上的正交投影，则

$$\|x - z\|^2 = \|(x - y) + (y - z)\|^2$$
注意到 $(y - z) \in W$ 且 $(x - y) \in W^\perp$，故 $(x - y, y - z) = 0$，即
$$\|x - z\|^2 = \|x - y\|^2 + \|y - z\|^2 \geqslant \|x - y\|^2$$
因此，$y$ 是 $x$ 在 $W$ 上的最佳逼近.
唯一性的证明参考书本P30.