线性组合#
再讲解线性无关或相关之前,我们先来看看线性组合。线性组合是指将一组向量通过加权求和的方式得到一个新的向量。具体来说,给定一组向量 {v1,v2,…,vn} 和一组标量 {c1,c2,…,cn},我们可以构造一个新的向量:
w=c1v1+c2v2+…+cnvn此时,w 就是 {v1,v2,…,vn} 的一个线性组合。或者说可以被 {v1,v2,…,vn} 线性表示。
线性无关与线性相关#
如果一组向量 {v1,v2,…,vn} 中没有任何一个向量可以被其他向量的线性组合表示,那么我们称这组向量是线性无关的。换句话说,如果存在一组标量 {c1,c2,…,cn} 使得:
c1v1+c2v2+…+cnvn=0只有当所有标量 c1,c2,…,cn 都为零时,上述等式才成立,那么这组向量是线性无关的。
反之,如果存在不全为零的标量使得上述等式成立,那么这组向量是线性相关的。
关于相关性的判定#
定义判断#
- 含有零向量的集合一定是线性相关的。
- 如果集合中的向量数量超过了空间的维数,那么这个集合一定是线性相关的。
形式化语言是:设向量组 {v1,v2,…,vn} 位于一个 m 维空间中即可被 {w1,w2,…,wm} 线性表示,如果 n>m,则该向量组一定是线性相关的。
- 向量组中部分向量相关,则整体向量组相关。
- 向量组整体向量无关,则部分向量组无关。
矩阵判别法#
将向量组 {v1,v2,…,vn} 作为矩阵的列向量构成一个矩阵 A
根据线性无关的定义,存在一系列非零标量 c1,c2,…,cn 使得 c1v1+c2v2+…+cnvn=0,这相当于矩阵 A 的列向量的线性组合等于零向量:
Ac1c2⋮cn=0如果矩阵 A 的秩小于 n,则该向量组是线性相关的
如果矩阵 A 的秩等于 n,则该向量组是线性无关的.
向量组的秩/矩阵的秩#
把一个矩阵 A 的列向量看成一个向量组,那么矩阵A/向量组中的线性无关的列向量可以拿出来构造一个新的矩阵 C, 这个 C 矩阵的列向量称为矩阵 A 的 列空间的 基底basis:
All vectors in the space(A的列空间) are combinations of the basis vectors
矩阵 A 的秩rank是指矩阵 A 中线性无关的列向量的最大数量(也是矩阵C的列向量数量),也是矩阵 A (也是 C) 的列空间的基底数或者叫维数dimension。
A = CR#
刚才构造的AC之间有如下关系:
A=CRR=rref(A)=row−reduced echelon form ofAR 叫做矩阵 A 的行阶梯形矩阵,它是通过对矩阵 A 进行初等行变换得到的一个特殊形式的矩阵。
R 是一个行阶梯形矩阵(echelon form),即满足以下条件:
- 所有非零行都在零行的上方。
- 每个非零行的首个非零元素(称为主元)的列指标从上往下严格递增。
特别的,当满足以下条件时,称为行最简阶梯形矩阵(reduced row echelon form):
- R 是一个行阶梯形矩阵。
- R 的主元都是 1。
- R 的主元所在列的其他元素都是 0。
不难发现R的行向量也是线性无关的,因为每一行的01位置不同,所以R的行空间的维数也是r。被C左乘可以看作将R的行向量进行线性组合得到A的行向量,所以A的行空间的维数也是r。
设矩阵 A 是一个 m×n 的矩阵,如果矩阵 A 的秩等于 n(列数),则称矩阵 A 是列满秩的。这意味着矩阵 A 的列向量是线性无关的,并且矩阵 A 的列空间的维数等于 n。
同理,如果矩阵 A 的秩等于 m(行数),则称矩阵 A 是行满秩的。这意味着矩阵 A 的行向量是线性无关的,并且矩阵 A 的行空间的维数等于 m。
当矩阵是一个方阵(即 m=n)时,如果矩阵 A 的秩等于 n(或 m),则称矩阵 A 是满秩的。这意味着矩阵 A 的行向量和列向量都是线性无关的,并且矩阵 A 的行空间和列空间的维数都等于 n(或 m)。
如果把矩阵看作一个“加工机器”,秩 就是这个机器实际输出的维度。
一个 3×3 的矩阵,虽然它在三维空间里折腾,但如果它的秩是 2,说明它把整个三维空间“压扁”成了一个二维平面。信息在这里发生了不可逆的丢失。
- 列秩 = 行秩:矩阵能提供的线性无关的向量个数。
- 满秩 (Full Rank):机器性能完好,输入什么维度,输出就是什么维度,矩阵可逆。
- 不满秩 (Singular):机器坏了,发生了“降维打击”,矩阵不可逆,行列式为 0。