线性代数要旨(一)

之前学习线性代数也刷了不少遍了，最近又频繁用到，发现理解的还是不够深，把之前写的笔记翻出来汇总一下。
线性代数要旨（一）线性方程组/矩阵代数/行列式
线性代数要旨（二）向量空间/特征向量/正交性/最小二乘法/二次型
线性代数要旨（三）线代四大基本定理/可逆矩阵定理

ch1 线性代数中的线性方程组 ‘线性代数及其应用笔记’

具体数学

---

• ch1 线性代数中的线性方程组 ‘线性代数及其应用笔记’
  • 1.1 线性方程组
  • 1.2 行化简和阶梯形矩阵
  • 1.3 向量方程
  • 1.4 矩阵方程Ax=b
  • 1.5 线性方程组的解集
  • 1.7 线性无关
  • 1.8 线性变换介绍
  • 1.9 线性变换的矩阵
  • 心得拾遗
  • 错题摘录

1.1 线性方程组

线性方程组：包含一个或几个有相同变量的线性方程
解集：方程组所有可能的解的集合
若两个方程组解集相同，那么就可以说这两个方程组等价
线性方程组的解有三种情况
1. 无解
2. 有唯一解
3. 有无数解
其中2，3称为方程组相容，1称为方程组不相容
将方程组中未知数前系数提取出来的得到的矩阵称为系数矩阵，系数矩阵加上方程组右边的常数列就成了增广矩阵。

线性方程组解法
基本思路是把方程组用一个更加容易求解的方程组代替

在求解中会用到下列变换：
行初等变换：
1. 倍加变换 把某一行换成它本身与另一行的倍数的和
2. 对换变换 把两行对换
3. 倍乘变换 把某一行所有元素乘以同一个非零数
若一个矩阵可以经一系列初等变换成为另一个矩阵，那么我们称他们行等价。
初等行变换是等价的，两个行等价的增广矩阵代表的线性方程组同解。

1.2 行化简和阶梯形矩阵

阶梯形矩阵

满足以下条件
1. 每一非零行在每一零行之上
2. 某一行的先导元素所在列位于前一行先导元素右边
3. 某一先导元素所在列下方元素都是零。

简化阶梯行

满足以下条件的阶梯形矩阵
1. 每一非零行的先导元素是1
2. 每一先导元素1是该元素所在列的唯一非零元素。

定理 每个矩阵行等价于唯一的简化阶梯形矩阵。
大部分矩阵程序用RREF表示行阶梯形的缩写。

主元位置

矩阵所对应的阶梯形中先导元素的位置，主元列是含有主元位置的列。

行化简算法：

1. 从最左非零列开始，这是一个主元列，主元位置在该列顶端。
2. 在主元列中选取一个非零元作为主元，若有必要，对换两行使元素移到主元位置。
3. 用倍加行变换将主元下面元素变为0.
4. 暂时不管包含主元位置的行以及它上面的各行，对剩下的子矩阵使用上述三个步骤直到没有非零行需要处理。
5. 从最右边的主元开始，把主元上方各个元素变成0。

线性方程组的解
对应于主元列的变量称为基本变量，其他变量称为自由变量。
比如

$$x_1 \ -5x_3=1\\\\x_2+x_3=4\\\\0=0$$
那么 $x_1,x_2$就是基本变量，其他变量就是自由变量（可以取任意的值），当 自由变量的值确定后，就可以确定基本变量的值了。指出自由变量以及基本变量和自由变量之间关系的解就是通解，因为他给出了所有解的显示表示。

得到阶梯形后虽然还不能解方程组，但是可以回答方程组解的存在和唯一性问题了。

定理（存在和唯一性定理）

线性方程组相容的充要条件是增广矩阵的最右列不是主元列，也就是说增广矩阵的阶梯形没有形如

$$[0\cdots 0 \ b]\ b\not= 0$$ 的行。若线性方程组相容，它的解集可能有两种情形
1. 当没有自由变量时，有唯一解
2. 若至少有一个自由变量，有无穷多解

所以应用行化简算法解线性方程组的步骤如下：

1. 写出方程组的增广矩阵
2. 应用行化简算法把增广矩阵化为阶梯形，确定方程组是否有解，如果没有解则停止，否则进行下一步
3. 继续行化简算法得到它的简化阶梯形
4. 写出由第三步所得矩阵所对应的方程组
5. 把第四步所得到的每个方程改写为用自由变量表示基本变量的形式

1.3 向量方程

仅含一列的矩阵叫向量。 $\mathbb{R}^2$中向量含有两个元素，当且仅当元素对应相等时两个向量相等。
我们称 $\mathbb{R}^2$中的向量是实数的有序对，而相应的 $\mathbb{R}^n$就叫做有序n元组。
向量代数性质如下：

给定向量和标量，那么向量 $y=c_1v_1+\cdots+c_pv_p$称为向量 $v_1...v_p$以 $c_1...c_p$为权的线性组合
向量方程 $x_1a_1+...+x_na_n=b$和增广矩阵 $[a_1\ a_2\cdots a_n\ b]$的线性方程组有相同的解集。
若 $v_1...v_p$是 $\mathbb{R}^n$中的向量，那么他们所有线性组合所组成的集合用记号 $Span\{v_1,v_2...v_p\}$表示，称为这些向量所生成的 $\mathbb{R}$的子集

1.4 矩阵方程Ax=b

A为 $m\times n$的矩阵，x是n维向量，Ax为一个线性组合。

定理

设A是 $m\times n$的矩阵，则下列命题逻辑等价
a. 对 $\mathbb{R}^n$中每个b，方程Ax=b有解
b. $\mathbb{R}^n$中每一个b都是A的列的一个线性组合
c. A的各列生成 $\mathbb{R}^n$
d. A在每一行都有一个主元位置

1.5 线性方程组的解集

若线性方程组可以写成Ax=0的形式，那么称之为齐次线性方程组，这样的方程组至少有x=0这一个解，该解称为平凡解。当该方程至少有一个自由变量时，齐次方程有非平凡解，其通解可以写为向量形式 $x=tv\quad t$为实数。
对于 非齐次线性方程组 Ax=b，解可以写为 $x=tv+p\quad t$为实数，可以由Ax=0的解加上p得到，向量p本身也是Ax=b的特解。
以上的表示法，称为参数向量表示，t为自由变量。

1.7 线性无关

若向量方程 $x_1v_1+x_2v_2+\cdots+x_pv_p=0$仅有平凡解，则这组向量 $v_1,...,v_p$线性无关，若存在 $x_1..x_p$不全为零，则称其线性相关。
当方程Ax=0仅有平凡解时，矩阵的各列线性无关。 当向量组中至少有一个向量是其他向量的线性组合时，向量组线性相关。
定理：一个向量组的向量个数超过每个向量元素个数时，向量组线性相关。包含零向量的向量组线性相关。

1.8 线性变换介绍

从 $\mathbb{R}^n$到 $\mathbb{R}^m$的一个变换（或称函数，映射）T是一个规则，它把 $\mathbb{R}^n$中每个向量x对应以 $\mathbb{R}^m$中的一个向量T(x)。 $\mathbb{R}^n$就是定义域， $\mathbb{R}^m$就是取值空间（余定义域），T(x)的集合称为值域。

对于变换T，若 $T(u+v)=T(u)+T(v)且T(cu)=cT(u)$，那该变换我们就称之为线性变换。

1.9 线性变换的矩阵

每个线性变换都是矩阵变换，线性变换强调映射的性质而矩阵变换藐视这样的映射如何实现。所以线性变换可以用矩阵T来唯一地表示。

满射：

从 $\mathbb{R}^n$到 $\mathbb{R}^m$的映射，满足 $\mathbb{R}^m$任一b都至少有一个 $\mathbb{R}^n$中的x与之对应。

单射：

$\mathbb{R}^m$中每个b是 $\mathbb{R}^n$中至多一个x的像。 当且仅当Ax=0仅有平凡解（线性无关）时,变换T为单射。

心得拾遗

1. 主元列个数就是矩阵的秩啦

错题摘录

1. 补充习题1.7 考虑下面问题，确定方程组是否对任意 $b_1,b_2,b_3$相容
   

   
   c.定义矩阵A，并用适当线性变换T，用T的术语重述问题。

   错解:
   定义

   $$A=\begin{bmatrix} 2&-4&-2\\ -5&1&1\\ 7&-5&-3\end{bmatrix}$$
   对于所有b，总有矩阵T使AT=b。

   正解： 定义T(x)=A,判断T是否将 $\mathbb{R}^3$映射到 $\mathbb{R}^3$。
   错误原因：这里着重的是线性变换而不是矩阵运算，把二者搞混了。

2. 补充习题1.15
   向量组[a 0 0],[b c 0],[d e f]线性无关，数a...f有何特征。

   错解 : a c f 中至少有一个为0。

正解：a c f 不全为0。
原因：若向量组中有0向量，则向量组线性相关，所以a不为0，同时，若c为0，则有互为倍数的列，若f为零则第三列为前两列的线性组合。

ch2 矩阵代数 '线性代数及其应用笔记'

具体数学

---

• ch2 矩阵代数 '线性代数及其应用笔记'
  • 2.1 矩阵运算
  • 2.2矩阵的逆
  • 2.3可逆矩阵的特征
  • 2.4分块矩阵
  • 2.5矩阵因式分解*
  • 2.6 列昂惕夫投入产出模型*
  • 2.7计算机图形学中的应用
  • 2.8 $\mathbb{R}^n$的子空间
  • 2.9维数和秩
  • 心得拾遗
  • 错题

2.1 矩阵运算

• 和
  运算对象是维数相等的两个矩阵，对应位相加。
• 标量乘法
  运算对象是一个标量和一个矩阵，每一位都乘以标量。

显然有

• 矩阵乘法

  对于矩阵A，B，其乘法结果AB的每一列都是A的各列的线性组合，以B的对应列的元素为权。

  若要AB有定义，则A的列数要等于B的行数，AB行数等于A的行数，AB列数等于B的列数。

矩阵乘法有如下性质

乘幂 $A^k=k个A相乘$

• 矩阵转置
  对于 $m\times n$的矩阵A，其转置就是一个 $n\times m$的矩阵,用 $A^T$表示，它的列是由A的对应行构成的。
  矩阵转置有如下定理

2.2矩阵的逆

若存在一个n维方阵C使另一个n维方阵A有AC=I且，CA=I，那么就称A是可逆的，称C为A的逆矩阵，这里的I是n维单位矩阵。
不可逆矩阵又称奇异矩阵，可逆矩阵也称为非奇异矩阵。
定理：设 $A=\begin{bmatrix} a&b\\c&d\end{bmatrix}$,若 $ad-bc\neq0$则A可逆且
$A^{-1}=\frac{1}{ad-bc} \begin{bmatrix} d&-b\\-c&a \end{bmatrix}$。
数ad-bc称为A的行列式，记作 $detA=ad-bc$。
当且仅当 $detA\neq 0$，矩阵A可逆。

关于可逆矩阵，有些有趣的事实
a. 若A，B都是n维可逆矩阵，则有 $(AB)^-1=B^{-1}A^{-1}$
b. 若A可逆，则 $A^T$也可逆，且 $(A^T)^{-1}=(A^{-1})^T$

初等矩阵
把单位矩阵进行一次行变换就得到初等矩阵。假设某初等矩阵为E，则将A进行同样的行变换得到的矩阵就等于EA。
同时初等矩阵都是可逆的，那么我们就可以推出以下结论：
定理 n维方阵A是可逆的，当且仅当A行等价于单位矩阵I。这时，把A变为I的一系列初等行变换同时把I变为 $A^{-1}$。
由上述定理，我们可以得到
求 $A^{-1}$的算法
将增广矩阵[A I]进行化简，若A行等价于I，则 $[A \quad I]$行等价于 $[I\quad A^{-1} ]$,否则A没有逆。

2.3可逆矩阵的特征

定理
下列定理等价：
1. A是可逆矩阵。
2. A等价于n维单位矩阵。
3. A有n个主元位置。
4. 方程Ax=0仅有平凡解。
5. A的各列线性无关。
6. 线性变换x->Ax是双射。
7. 对于 $\mathbb{R}^n$中任意b，方程Ax=b至少有一个解。
8. A的各列生成 $\mathbb{R}^n$。
9. 线性变换x->Ax把 $\mathbb{R}^n$印射到 $\mathbb{R}^n$上。
10. 存在n维方阵C使CA=I。
11. 存在n维方阵使AD=I。
12. $A^T$是可逆矩阵。

2.4分块矩阵

用水平线和竖直线可以将矩阵进行分块。

• 加法与标量乘法
  若AB维数相同且被同样地分块，则自然矩阵的和A+B也被同样分块，其每一块恰好是A和B对应分块的矩阵和。数乘也是一样。
• 分块矩阵乘法
  只要A的列分法和B的行分法一致，那么分块矩阵就可以用通常的行列法则进行乘法运算。
• 分块矩阵的逆
  分块对角矩阵 是一个分块矩阵，除了主对角线上各分块外，其他全是零分块。这样的一个矩阵式可逆的当且仅当主对角线上各分块都是可逆的。

2.5矩阵因式分解*

矩阵的因式分解就是将矩阵表示为两个或更多个矩阵的乘积。
LU分解 这种分解常用来解一系列具有相同系数矩阵的线性方程。我们把A分解为LU，L是一个m维下三角方阵，U是A的行等价阶梯形矩阵。 可以证明解 $Ly=b\quad Ux=y$的方程组比解 $Ax=b$所需要的计算次数少得多。
那么如何进行LU分解呢？
1. 如果可能的话，用一系列的倍加变换把A化为阶梯形。
2. 填充L的元素，使相同的行变换把L变为I。

2.6 列昂惕夫投入产出模型*

列昂惕夫投入产出生成方程式：
$x=Cx+d$
x-总产出 Cx-中间需求 d-最终需求
那么我们需要得到最终需求的物资，就要生成 $x=(I-C)^{-1}d$的总产出。

2.7计算机图形学中的应用

线性变化可以将线段印射到线段从而对其进行剪切，伸缩等变形，但不能进行平移，因为平移不是线性变换，但是我们可以通过引入所谓齐次坐标来解决这一问题。
将 $\mathbb{R}^2$的每个点(x,y)对应到 $\mathbb{R}^3$的(x,y,1)。这样就可以通过矩阵乘法进行平移变换了。比如

$$\begin{bmatrix}1&0&h\\0&1&k\\0&0&1 \end{bmatrix}$$ 就可以把[x y 1]平移到[x+h y+k 1]。

2.8 $\mathbb{R}^n$的子空间

子空间

一个子空间是 $\mathbb{R}^n$中的集合H，具有以下三个性质
1. 零向量属于H
2. 对于H中任意向量u和v，u+v属于H
3. 对H中任意向量u和数c，cu属于H

换言之，子空间对加法和标量乘法是封闭的。

列空间

矩阵A的列空间是A的各列的线性组合的集合，记作Col A。

零空间

矩阵A的零空间是齐次方程Ax=0的所有解的集合，记作Nul A。

那么我们可以得到这样一个定理， $m\times n$的矩阵A的零空间是 $\mathbb{R}^b$的子空间，等价的，n个未知数的m个齐次线性方程组的解的全体是 $\mathbb{R}^n$的子空间。即列空间和零空间都是子空间。

子空间的基

子空间H的一组基是H中的一个线性无关集，它生成H。

求出Ax=0的解的参数向量形式，实际上就是确定Nul A的基。
矩阵A的主元列构成列空间的基。（注意与A行等价的阶梯形B的主元列不能作为Col A的基，要用A的主元列本身）
可逆矩阵的列空间Col A为 $\mathbb{R}^n$,零空间Nul A为零子空间。

2.9维数和秩

选定一组基后我们就相当于选定了坐标系，空间中任何向量都可以唯一地用坐标向量进行表示。

维数

非零子空间的维数，是H的任意一组基的向量个数，记为dim H。

秩

矩阵A的秩是A的列空间的维数，记为 rank A。

秩定理若一矩阵A有n列，则 $rank A+ dim\ Nul A =n$

基定理 H为p维子空间，H中任何恰好由p个成员组成的线性无关集构成H的一个基，并且H中任何生成H的p个向量集也构成H的一个基。
那么根据新加入的内容，我们可在2.3节的可逆矩阵定理中加入下列等价命题：
13. Col A= $\mathbb{R}^n$
14. A的列向量构成 $\mathbb{R}^n$的一个基
15. dim Col A=n
16. rank A=n
17. Nul A={0}
18. dim Nul A = 0

心得拾遗

1. 矩阵真是个很神奇的东西，既可以表示空间中的对象，也可以表示对象的变换（跃迁）。表示对象的时候（比如向量组）它是静止的，但是表示变换的时候它又代表空间中的运动。 以初等矩阵为例，它本身是一个矩阵，但是当任何矩阵左乘一个初等矩阵时都相当于对这个矩阵做对应的初等变换。

错题

• 补充习题 1.o
  若A可逆，且 $r\neq 0$，则 $(rA)^{-1}=rA^{-1}$
  正解： 命题错误。真是傻了，。，也不经思考就觉得是对的，但是正确命题显然是： $(rA)^{-1}=r^{-1}A^{-1}$

• 补充习题11.b
  下列矩阵称为范德蒙德矩阵，在多项式插值等方面中都有应用。
  

  
  设 $x_1,x_2,...,x^n$是相异的数，证明V的列是线性无关的。
  正解： 我们先来回想线性无关的定义：关于z的方程Vz=0只有平凡解时说V的各列线性无关。
  现在我们假设z已知，或者说固定住，把V作为未知数，也就是 $x_1...x_n$是未知数。
  那么容易发现， $x_1...x_n$就是方程 $z_0+z_1x+z_2x^2+...+z_{n-1}x^{n-1}=0$的解，当 $z\neq 0$时这个方程最多有n-1个不同的解，但是我们有 $x_1到x_n$总共n个解，则可以推出z必需为0。
  蛤？ z必需是0？那不就是说除了平凡解没有其他解了吗？
  OK，证毕。

• 补充习题17
  设A是一 $6\times 4$矩阵，B是一个 $4\times 6$矩阵，证明AB不可逆。

  错解：直接懵逼不会证了QAQ

  正解：先来看矩阵B，行数小于列数，说明主元个数一定少于未知数个数，说明一定有自由变量，也就是说有 $x\neq 0$使得 $Bx=0$,那么这个x也能使 $ABx=A0=0$，即矩阵(AB)的各列线性相关，则 $6\times 6$矩阵AB不可逆。

ch3 行列式 ‘线性代数及其应用笔记’

具体数学

---

• ch3 行列式 ‘线性代数及其应用笔记’
  • 3.1 行列式介绍
  • 3.2 行列式的性质
  • 3.3 克拉默法则，体积和线性变换
  • 错题
  • 心得拾遗

3.1 行列式介绍

首先我们回顾一下2维方阵的行列式，对于一个矩阵A

的矩阵，它的行列式就是ad-bc，记作 $\Delta A=ad-bc或detA=ad-bc$。

有了这个我们能对行列式做一个递归定义了，

行列式

当 $n\ge 2,n\times n$矩阵A的行列式
$detA=a_{11}\cdot detA_{11}-a_{12}\cdot detA_{12}+\cdots +(-1)^{1+n}a_{1n}\cdot detA_{1n}$
其中 $a_{ij}$表示Ai行j列的元素， $A_{ij}$表示A去除第i行和第j列的子矩阵。
我们把 $(-1)^{i+j}detA_{ij}$叫做A的(i,j)余因子，记作 $C_{ij}$，那么
$detA=a_{11}C_{11}+\cdots+a_{1n}C_{1n}$，就称为按A的第一行的余因子展开式。
矩阵A的按每一行展开式的值等于行列式。

那么容易推导出，若A为三角阵，那么detA就等于A的对角线上的元素的乘积。

3.2 行列式的性质

当发生行变换时矩阵A的行列式会如何变化：
1. A某行倍加到另一行得B，detA=detB
2. A的两行互换得B,detB=-detA
3. A的某行乘以k倍得到B， $detB=k\cdot detA$
这些定理常被用来将行列式进行变换以便求行列式的值。（证明用数学归纳法，p174，这个证明比较不容易搞清楚着重看看）

将行列式A利用行倍加和行交换变换为阶梯形矩阵U，其中进行了r次行交换，则 $detA=(-1)^{r}detU$，这时，行列式detU就等于主对角线上的元素积。此时行列式为0时说明主对角线上有元素等于0，说明主元个数小于维度n，则说明矩阵不可逆。 
由此我们可以得到方阵A是可逆的当且仅当 $detA\neq 0$.

定理：

• 若A为一个n维方阵，则 $detA^T=detA$
• $detAB=(detA)(detB)$ 乘法性质
• $k\cdot detA=k^ndetA$

3.3 克拉默法则，体积和线性变换

克拉默法则

设A是一个可逆的 $n\times n$矩阵，对 $\mathbb{R}^n$中任意向量b，方程Ax=b的唯一解可由下式给出：
$x_i=\frac{detA_i(b)}{detA},i=1,2,...n$
其中 $A_i(b)=[a_1\cdots a_{i-1}\quad b\ \cdots a_n ]$

根据克拉默法则，我们可以容易导出求逆的公式（用单位矩阵的列去代替b）

右边的矩阵称为A的伴随矩阵，记作adjA。注意这里伴随矩阵是由余因子矩阵转置得到

实际应用中我们可以用行列式表示解析几何中物体的面积/体积。
A为2维方阵，由A的列（坐标）确定的平行四边形的面积为|detA|，A为3为方阵，由A的列确定的平行六面体的体积为|detA|。
线性变换
对于上面提到的对象的面积/体积，对象经过由矩阵A确定的线性变换后，面积/体积=|detA|*原面积/体积

错题

3.1.k 判断命题正误：
$detA^T A\ge 0$
正解为T

心得拾遗

我还记得我大一学线性代数的时候一开始上来就是讲行列式，讲行列式怎么计算等等。。然后之后的概念也都一塌糊涂，。， 好在这本书讲的比较科学一点，也算是把之前的坑填了吧。
行列式本质上是一个数值，或者是一个用未知数表达的式子，它的由来我们人为对数进行排列，并按照排列进行进行某种规则的运算。这种运算起初是由递归定义而来的，之后再将其重定义，而人们恰好发现这个行列式有许多很“有用”的性质，可以简便许多运算以及帮助理解概念，所以就一直能够得到运用和发展。当然对一个数学工具谈本质什么的就有些玄了，感觉没啥意义。
应用上来讲，从代数观点来看，它是方阵的一个函数，从几何观点来看，如果矩阵是线性变换的话，它是矩阵的某种变化系数（就像用面积/体积变换的系数等）。