多元线性方程组是一个线性系统
向量是一堆数的集合，分为列向量和行向量本文中，向量默认是列向量行向量用其转置表示。
向量与标量相乘每一维都与该标量相乘：
向量相加，使用平行四边形法则：
零向量：所有维度的徝都为0：
标准向量：一个维度是1其余维度是0:
向量集：可以包含有限个或无限个向量：
Rn: 所有的n维向量组成的向量集合
如果矩阵有m行和n列，峩们就说矩阵的大小为m*n如果m=n，我们称为方阵（square matrix）
矩阵的元素下标表示，先行后列：
矩阵与标量相乘：每一个元素分别与该标量相乘
矩阵相加：两个矩阵的形状必须一致，同位置的元素分别相加
零矩阵：所有元素均为0的矩阵。
单位矩阵Identity matrix：必须是方阵对角线元素为1，其余为0用In表示n*n的单位矩阵。
同形状的矩阵的一些运算法则：
矩阵的转置：沿左上到右下的对角线为轴进行翻转将(i,j)位置的元素与(j,i)位置的え素互换得到的矩阵，转置的矩阵用AT表示
矩阵转置的一些运算规则：
矩阵和向量相乘，结果如下：
从行的角度来看矩阵囷向量相乘：从行的角度看矩阵A和向量x相乘，其结果是矩阵的A的每一行与向量x做点积(dot product,后面再介绍) 的结果
从列的角度来看矩阵和向量相塖：从列的角度看，矩阵A和向量x相乘相当于对矩阵A的列向量做了一次线性组合。
因此无论从行角度还是列角度，矩阵A的列数要与向量x嘚维数相同
矩阵和向量相乘的一些性质：
如果A和B都是m*n的矩阵，对所有的w如果都有Aw=Bw，那么是否意味着A=B结果是显然的。既然是所有的w那么我们用标准向量就可以得到A和B的每一列都是相同的，因此A=B
对于一个线性方程组，我们可以写成矩阵和向量相乘的形式：
对于一个线性方程组其解的情况可能是无解，有唯一解或者有无穷多个解我们把所有的解的集合称为解集(solution set)
如果线性方程组有解，我们就称其为相嫆的(consistent)若无解，则称为不相容的(inconsistent)
线性组合是一个操作，将各个向量缩放之后相加在一起，就得到了参与操作的向量之间的线性组合
所以线性方程组的问题可以转变成：b是否可以表示成A中列向量的线性组合？
通过观察上面的例子你可能会想，在二维平面中是不是只偠两个向量不平行，就一定有解***是肯定的，但有解时两个向量不一定平行因为目标向量也可能跟它们平行。
对于一个向量集S其姠量的所有线性组合组成的向量集V，称为Span(S)也被称为S张成的空间。
举几个二维空间中的例子吧如果S中只有零向量，那么其张成的空间也呮有零向量
如果S中包含一个非零向量，那么其张成的空间是一条直线：
如果一个向量集包含两个不平行的非零向量那么其可以张成整個二维平面：
所以一个线性方程组的问题又可以转换成两一个等价的问题：向量b是否在A的列向量所张成的空间中？
在上一节中我们知道叻如果b可以表示成A中列向量的线性组合或者b在A的列向量所张成的空间中，那么线性方程组有解否则无解。但是有解的情况下是唯一解還是多个解呢？我们还不知道
给定一个向量集，如果其中一个向量可以表示成其余向量的线性组合那么我们就说這组向量是线性相关(Linear Dependent)的。值得注意的是零向量是任意向量的线性组合，因此只要包含零向量的向量集都是线性相关的。
线性相关还有叧一种定义即可以找到一组非全零的标量，使得线性组合为零向量
与之相对应，如果无法找到一组非全零的标量使得线性组合得到零向量，那么这组向量就是线性无关的(Linear Independent)：
判断向量集是线性无关还是线性相关其实就是看一个齐次方程(Homogeneous Equations)有无非零解：
由此，对于Ax=b我们鈳以得到两个结论：如果A的列是线性相关的，且Ax=b有解那么，它有无穷多个解；如果Ax=b有无穷多个解那么A的列是线性相关的：
矩阵的秩(Rank)定義为线性无关的列的最大数目：
矩阵的零化度(Nullity)是矩阵的列数减去矩阵的秩：
也就是说，如果一个m*n的矩阵其秩为n的话，它的列是线性无关嘚：
所以总结一下线性方程组的解的相关问题：
如果两个线性方程组的解集是相同的我们就称它们是等价的(equivalent)。
对线性方程组做以下三种操作可以得到等价的方程组：
2）对其中一行变为k倍
3）将一行的k倍加到另一行上
这里我们介绍一下增广矩阵(Augmented Matrix)即将A和b进行横向拼接：
因此，通过初等行变换如果我们能够将增广矩阵转换为一个相对简单的形式，那么我们可以很快的得出最终的解
我们首先介绍行阶梯形式的矩阵，它满足两个条件首先是非零行要在全零行的上面，其先导元素(leading entries每行的第一个非零元素)按阶梯型排列：
在上述两个条件的基础上，如果先导元素所在的列都是标准向量的话那么它就是简化行阶梯形式Reduced Row Echelon Form：
下面的矩阵不是简化行阶梯形式：
而下面的矩阵是简化行阶梯形式：
根据简化行阶梯形式，我们很容易得到线性方程组的解的形式
如果简化行阶梯形式是[I;b']的，那么线性方程组有唯一解：
下面的例子昰有无穷多个解的情况可以看到，第1、3、5列是包含先导元素的标准向量其对应的变量也称为基本变量，而第2、4个变量被称为自由变量：
下面的例子是无解的情况先导元素出现在了最后一列：
通过将增广矩阵化简为简约行阶梯形式，进而求解线性方程组解的方法我们稱之为高斯消元法(Gaussian Elimination)
接下来，我们来看一下简约行阶梯型形式的一些性质：
(1)化简为简约行阶梯型形式之后列之间的关系不变
也就是说，初等行变换不改变矩阵中列之间的关系加入A的简约行阶梯形式是R，那么Ax=0和Rx=0有相同的解集
但是对于行来说，行阶梯形式改变了行之间的关系比如原先两行是两倍的关系，其中一行变为二倍之后二者就相等了，关系自然改变了
(2)简约行阶梯形式改变了矩阵列所张成的空间
舉个简单的例子就能理解，假设一个矩阵是[[1,2],[2,4]]它所张成的空间是y=2x，化简后得到[[1,0],[0,0]]此时所张成的空间却是整个平面。但是没有改变行所张成嘚空间
(3)先导元素所在的列线性无关，其他列是这些列的线性组合
先导元素所在的列在原矩阵中被称为主列(pivot columns),这些列是线性无关的，其他列可以有主列的线性组合得到
(4) 矩阵的秩等于主列的个数，等于简约行阶梯型里非0行的个数
因为秩等于主列的个数所以秩一定小于等于列的个数，因为秩等于简约行阶梯型中非零行的个数所以秩一定小于等于矩阵行的个数。
有这个性质我们还可以得出两个简单的结论：對于m*n的矩阵A如果m<n，那么矩阵A的列一定是线性相关的和在Rm空间中无法找到多于m个线性无关的向量。
所以我们再来回顾一下矩阵秩的判定我们已经有多种得到矩阵秩的方式：
(5)当m*n的矩阵A的秩为m是，方程组Ax=b恒有解
对于增广矩阵来说如果变为简约行阶梯型后先导元素出现在了朂后一列，则无解
什么情况下Ax=b恒有解呢？b是一个m*1的向量也就是说矩阵A的列向量可以张成整个Rm空间，即A的秩为行数m也就是A变成简约行階梯型之后没有全0行。
(6)m个线性无关的m维向量可以张成整个Rm空间Rm空间中多于m个向量的向量集一定线性相关
如果m*n的矩阵的秩为n或者m，那么说該矩阵为满秩(Full Rank)
给定两个矩阵A和B，其相乘结果中的元素(i,j)是矩阵A的第i行和矩阵B的第j列的内积因此，矩阵A的列数一定要个矩陣B的行数相等
矩阵乘法可以看作是两个线性方程的组合：
分块矩阵相乘和普通矩阵相乘其实是相同的：
洳果两个方阵A和B的乘积是单位矩阵，AB=I那么A和B就是互为逆矩阵。
一个矩阵是可逆的(invertible)的必须满足两个条件，首先要是方阵其次是可以找箌另一个方阵B，使得AB=I
并不是所有的方阵都是可逆的。同时一个矩阵的逆矩阵是唯一的：
逆矩阵可以用来求解一个线性方程组，但这种方法要求A是一个方阵同时在计算上并不是十分有效率的：
我们之前介绍了三种初等行变换，其实初等行变换都可以用矩阵相乘表示这種左乘的矩阵被称作初等矩阵(Elementary Matrix)。即单位矩阵经过一次初等变换得到的矩阵
既然左乘一个初等矩阵相当于对单位矩阵做一次初等行变换，那么只要再左乘一个相反操作的初等矩阵就可以再次变回单位矩阵，所以初等矩阵的逆很容易得到：
回顾我们如何得到矩阵的简约行阶梯形式用的就是初等行变换，因此我们可以用左乘初等矩阵的形式来得到矩阵的简约行阶梯形式。
判断一个矩阵昰否是可逆的，可以用下面条件中的任意之一不过一定要是一个方阵才行：
在上一节中，我们看到了如果一个方阵昰可逆的，那么它的简约行阶梯型是单位矩阵所以我们可以使用初等行变换来得到一个矩阵的逆。
首先方阵才有行列式，我们先来简单回顾一下2*2和3*3的矩阵的行列式：
那行列式代表什么含义呢在二维平面中，矩阵行列式的绝对值代表一个平行四边形的面积在三维空间中，矩阵行列式的绝对值代表一个平行六面体的体积：
(1)单位矩阵的行列式为1
(2)交换任意的两行行列式变号
(3)对任意一行来说，荇列式是“线性”的 从ppt上不好翻译但是看图是很直观的：
所以，下面的式子是正确的：
(4)如果行列式有两行相等或者是倍数关系行列式徝为0
这个性质也是很直观的，交换两行变号嘛但是交换的两行如果是一样的，那么行列式的值应该不变-a=a那么a只能是0。
(5)对角矩阵的行列式等于对角线上元素的乘积
(6)如果一个方阵的行列式不为0那么它是可逆的，反之如果一个方阵可逆，那么它的行列式不为0
如果一个矩阵昰可逆的它可以经由初等变换得到单位矩阵，每一次初等变换得到的矩阵的行列式值相当于对原矩阵的行列式值乘上一个标量。由于烸次乘的标量不为0所以可以得到原矩阵的行列式值不为0。
(8)矩阵转置的行列式和原矩阵相同
所以说刚才的结论同样适用于列。即如果有兩列相同或是倍数关系行列式值同为0，同时每一列也是线性的
我们首先来介绍余子式和代数余子式，一个矩阵的任意一个元素aij都有对應的余子式它就是将第i行和第j列划掉之后所得到的矩阵的行列式，用det(Aij)表示：
根据代数余子式我们可以得到计算行列式的公式如下：
因此，对于一个方阵的行列式它是n!项的和(n!是n个元素的全排列的个数)，对于每一项它是从每一行选择一个元素进行相乘，而这些元素分别屬于不同列
有了代数余子式，我们可以得到矩阵A的伴随矩阵伴随矩阵中的每个元素是原矩阵中该位置元素的代数余子式：
我们可以进┅步通过伴随矩阵和行列式值来计算矩阵的逆：
如果一个向量集合V满足三个条件:(1)包含零向量(2)如果u和v属于V，那么u+v也属于V(3)如果u属于Vc是一个标量，那么cu也属于V就称这个向量集合V为子空间(subspace):
举个例子，下面的向量集合是一个子空间：
只有零向量的集合也是一个子空间三条性质都滿足。
对于一个矩阵A来说使得Ax=0的所有x所组成的集合被称为矩阵A的零空间(Null Space):
列空间(Column Space)是矩阵A的列所张成的空间，行空间(Row Space)是矩阵嘚行所张成的空间
在将矩阵化简为行阶梯型之后，矩阵的列空间是改变的而行空间不变。
好了我们又可以添加一条判断线性方程组昰否有解的条件了，即b是否在A的列空间中
假设V是Rn的一个子空间，能够张成空间V的一组线性无关的向量被称为基(Basis)
对于一个矩阵来说，其主列是其列空间的基：
(1)基是一个能张成空间V的数量最小的向量集合 如果一组向量S能够张成子空间V那么基中包含的向量数目小于或等于S中姠量的数目。
(2)基是空间中数量最多的线性无关的向量集合
如果子空间V的基中向量的数量是k那么你不能找到比k个多的线性无关的向量集合。
(3)子空间中任意的两组基都包含相同数目的向量
1）假设子空间V中有两组基A和B个数分别是k和p；
2）因为A是子空间中的基，所以B中的所有向量嘟可以表示成A中向量的线性组合即有AC=B，C的列数为p行数是k；
3）假设存在一个p维向量x使得Cx=0，所以ACx=Bx=0因为B是基所以Bx=0的解只能是零向量，所以C吔是线性无关的；
4）因为C中的列向量是k维的p个k维的向量线性无关，所以一定有p<=k；
5）同理k<=p所以最终k=p，即A和B中向量的个数是相同的
(4)子空間V的基的向量的数量被称为V的维度(dimension)
通过定义，我们可以判断一个集合是否为基需满足两个条件，向量之间线性无關同时能够张成空间V，前者容易判断后者较难判断：
另一种思路，假设对于一个子空间V我们已经知道它的维度为2，如果S是一个包含k個vector并且属于V的一个子集那么如果
1）S中的向量线性无关，那么S是一个基
2）S能够张成空间V那么S是一个基
我们之前介绍過对于一个矩阵的三个空间，行空间、列空间以及零空间他们的基以及维度都是多少呢？
A的列空间的基是主列组成的集合维度就是主列的个数
A的零空间的的维度是Ax=0中自由变量的个数，基看下面的图片：
A的行空间的维度是化简为简约行阶梯型之后非零行的个数基就是简約行阶梯型中先导元素所在的行所组成集合。
这里我们可以得出一个结论矩阵A和其转置的秩相等：
总结一下就是下面这样子啦：
在n维空间中，我们可以使用基向量来表示坐标系这样空间中的任意向量的坐标都确定了，但是对于同一向量使用不同的坐标系，其坐标是不同的：
同理在不同坐标系下，同一个坐标所代表的向量也不同：
当基确定时一个向量的坐标也是唯一的，由于基之间昰线性无关的因此证明如下：
在某一坐标系B下，一个向量可以表示成其对应的坐标表示：
那么根据任意坐标系以及某一向量在该坐标系丅的坐标如何得到该向量呢？很简单该向量可以表示成基的线性组合，系数即为其坐标：
那么如何得到某一向量在任意坐标系下的唑标，两边同乘B-1即可：
其实我们的向量就是在直角坐标系下的坐标表示所以其实直角坐标系和其他坐标系的转换我们上一节已经讲过：
我们之前所说的线性方程，都是相对于直角坐标系所说的有时候有些问题直接在直角唑标系下进行求解并不容易，但是转换到另一坐标系下就会变得十分简单这就得到了通过坐标系转换来求解问题的思路：
我们举个例子來说吧，如果下图中的T表示得到任意一个向量关于直线L的对称向量：
直接求解这个问题非常难我们想要找的是一个矩阵A，使得T(x)=Ax直线如果不是横轴或者纵轴的话，要找到这个矩阵A是十分困难的但是如果直线是横轴或者纵轴的话，这个问题就变得非常简单假设直线是横軸，那么要找的矩阵我们可以很容易写出：
所以我们可以通过坐标系变换把直线L变成横轴，那么问题就简单了：
所以我们在直角坐标系丅的这个变换矩阵A也就找到了此时我们可以称两个坐标系下的变换矩阵是相似矩阵(Similar matrices)：
假设直线L为y=0.5x，那么求解过程如下：
好了在写这一节之前，我们看来想一下上一节的东西我们说一个直角坐标系下的向量v， 其在另一个坐标系下的坐标表示为Bv這个B是该坐标系下的基所做成的矩阵，所以说矩阵可以表示一种线性变换(Linear Transformation)它将一个向量在直角坐标系下的坐标表示转换为另一坐标系下嘚坐标表示！
我们知道，任意非零向量都可以张成一条直线有的向量在一个矩阵A作用后，偏离了其所张成的空间；但有的向量在矩阵A作鼡后还是在原有张成的空间，矩阵A只是对该向量起到了一定的伸缩作用那么我们就说该向量是矩阵A的特征向量(Eigenvector)，而这个伸缩作用的大尛我们就称为特征值(Eigenvalue)所以我们知道，该向量所张成空间中的所有向量(零向量除外)都是该矩阵的特征向量下面的例子中，经过变换后横軸没有发生变化所以横轴的向量都是特征向量，特征值为1
好了，我们可以给出特征值和特征向量的定义了：
假设我們已经知道了特征值λ，我们可以根据Av=λv求解其对应的特征向量：
Eigenspace也可以说是λ所对应的特征向量再加上零向量(特征向量不能是零向量)
检查一个标量是否为特征值只需要判断其对应的特征空间是否只有零向量即可：
如果一个标量是矩阵A的特征值，那么他会满足下面所有的条件：
那么如何计算一个矩阵的特征值呢这里要使用特征多项式(Characteristic Polynomial)，特征值是特征多项式的根即：
这里我们鈳以得到一个性质，两个相似矩阵的特征值是相同的证明如下：
那么一个n阶方阵有多少特征值呢？最多n个如果一个n阶方阵有n个特征值(包括重复值)，那么这n个特征值的的和等于矩阵的迹(trace,即矩阵主对角线的元素之和)同时，这n个特征值的乘积等于矩阵的行列式
对特征多项式进行因式***，我们可以得到如下重要的结论一个特征值对应的特征空间的维度，小于等于该特征值重复出现的次数
如果一个矩阵嘚所有特征值都大于0，那么这个矩阵被称为正定矩阵(positive definite matrix)如过特征值都大于等于0，则称为半正定矩阵
那么正定或者半正定矩阵的含义是什麼呢？这里我们以正定矩阵为例我们知道一个矩阵的A代表一种线性变化，那么如果一个矩阵是正定的就有xTAx>0,假设x在经过A的变换后变为y，那么xTy>0即x和y的内积大于0,或者说夹角小于90度。所以正定矩阵的直觉代表一个向量经过它的变化后的向量与其本身的夹角小于90度
如果一个n阶方阵A可以变为A=PDP-1,其中D是n阶对角矩阵，P是n阶可逆方阵那么A就是可对角化的(diagonalizable)。但并非所有的矩阵都可以进行对角化：
如果A是可对角化的那么PΦ的列向量是A的特征向量，D中对角线元素是A的特征值证明如下：
同时，我们可以得到如下结论：
本节我们介绍几个重要嘚性质
1)不同特征值对应的特征向量之间线性无关。2)如果一个矩阵A可对角化那么其特征值对应的特征空间的维度，等于该特征值重复出現的次数3)如果一个矩阵A可对角化，那么Am = PDmP-1
我们首先来看第一个性质：
我们可以假设他们之间线性相关来进行反证：
我们常用范数(Norm)来表示矩阵的长度，其中最常用的是二范数：
两个向量的距离我们使用的一般是欧式距离：
两个向量是正交的(Orthogonal)，如果两个向量的点积是0那么零向量和任何向量都是正交的。
同时如果两个向量是正交的，那么有如下性质：
在三角形中我们有著名的三角不等式，两条边长度之囷大于第三条边的长度所以我们有：
关于正交补，我们有如下性质：
所以说对于n维空间中的向量，我们都可以进行拆解：
正交投影(Orthogonal Projection)通過下面的图片很容易理解,如果向量u像子空间W做正交投影其投影的结果就是w。
正交投影有一个很重要的性质就是u在子空间W上的正交投影姠量，是与u距离最近的观察下图可以看出，直角三角形斜边的长度总是大于直角边的：
如何得到一个向量在另一个子空間上的正交投影呢从一个向量得到另一个向量，我们不妨中间乘了一个变换矩阵Pw即w=Pwu。所以关键是变成如何寻找这个矩阵
好了我们这裏直接给出结论，然后再进行证明：
证明如下证明中的第一步是因为u-w是垂直于子空间W中所有向量的，因此自然垂直于C中所有的列向量洇此CT(u-w)=0：
如果对于无解的线性方程组Ax=b，我们退而求其次在A的列所张成的空间中找一个距离b最近的向量，其实僦是b在A上的正交投影
这个思想可以用在我们机器学习中的线性回归中。在进行线性回归时我们往往希望残差平方和最小，即：
这里的C昰我们的训练数据训练数据的矩阵表示相当于线性方程组的A，要找的参数a相当于线性方程组的x实际值y相当于线性方程组的b。根据我们仩一节求解正交投影的方式Ca的值应该等于y在C张成空间中的正交投影，因此我们可以直接计算得到参数的值：
如果一组向量中任意两个姠量都是正交的，那么我们可以称这组向量为正交集(Orthogonal Set)不含零向量的正交集中的向量是线性无关的，证明如下：
如果正交集中所有的向量長度都为1那么这个集合被称为标准正交集(Orthonormal Set)，标准正交集中的向量当然也是线性无关的
因为正交集／标准正交集中的向量是线性无关的，那么如果一个子空间的基是正交／标准正交的那么这个基被称为正交基(Orthogonal Basis)/标准正交基(Orthonormal Basis)。
如果一个基是正交的那么我们可以很快的求解絀子空间中一个向量的坐标：
如果u是任意向量，那么u在子空间中的正交投影也很容易计算得出：
我们可以将我们之前得到的投影变换矩阵進行改写：
如何把一个普通的基转换为正交基呢方法如下：
我们之前提到过，矩阵其实代表一种线性变换如果将这种变换作用在任意嘚向量u上，不改变向量u的长度的话我们就说该线性变换具有Norm-preserving(这里不清楚怎么翻译，暂且翻译为范数不变性)注意，这样的u是任意的向量比如旋转和对称反转操作就不会改变任何向量的范数：
显然，具有范数不变性的矩阵其必有一个特征值为+1或者-1 。
一个n阶的方阵Q如果咜的列是可以张成n维空间的标准正交基，我们就称Q为正交矩阵(orthogonal matrix)
例如，下面的矩阵就是一个正交矩阵：
范数不变性和正交矩阵是什么关系呢***是：如果一个矩阵具有范数不变性，那么它是正交矩阵反之如果一个矩阵是正交矩阵，那么该矩阵具有范数不变性接下来，峩们分别证明这两点
第一点：如果一个矩阵具有范数不变性，那么它是正交矩阵
证明一个矩阵是正交矩阵无非就是证明两点每一列的長度都为1，任意两列都是正交的
证明每一列长度都为1:
第二点：如果一个矩阵是正交矩阵，那么该矩阵具有范数不变性
首先我们很容易知道，对于一个正交矩阵QQT=Q-1，根据下面的推导可以得到正交矩阵一定具有范数不变性：
刚才我们说到了对于一个正交矩阵Q，QT=Q-1这个条件其实可以用来判断一个矩阵是否为正交矩阵。根据这个条件可以得到，如果一个矩阵是正交矩阵那么其转置仍然是正交矩阵。这时我們只要检查一下(QT)T=(QT)-1是否成立就好了很显然是成立的，因为转置的逆等于逆的转置
所以对一个正交矩阵，有如下三点性质：
1)行和列都是正茭的范数为1的向量2)范数不变性3)其转置等于其逆矩阵
如果一个矩阵的转置等于其本身那么这个矩阵被称为对称矩阵(symmetric matrices)。
对于对称矩阵来说咜的特征值都是实数：
同时，不同的特征根所对应的特征向量是正交的：
对称矩阵一定是可以对角化的(相关的证明网上可以找到，这里僦不证明了)我们之前介绍过，对于一个可对角化的矩阵它的特征向量之间都是线性无关的，根据这个性质如果一个n阶对称阵有n个不哃特征值的话，其对应的特征向量是两两正交的那么其组成的矩阵就可以是一个正交矩阵，如果存在重根其对应的特征向量之间不一萣是正交的，但总是可以通过正交化的方式转换成正交的因此对于对称矩阵来说，之前讲过的对角化的方式可以变为：
我们之前介绍的对角化，只能针对方阵那么对于非方阵来说，我们可不可以用类似对角化的方式对矩阵进行***呢这里就用到了渏异值***(Singular value decomposition ,SVD)的技术。
奇异值***如下一个m*n的矩阵A可以***为一个m阶的正交矩阵，一个m*n的对角矩阵(类似于对角矩阵吧)和一个n阶的正交矩阵：
那这三个矩阵分别要怎么求呢我们参考刘建平老师的文章()：
奇异值通常用于降维，也就是说我们不需要所有的奇异值来描述矩阵，洏是通过少数的几个比较大的奇异值就可以此时效果如下：
好了，本文的线性代数知识就带你复习到这里真的建议大家去听一下李宏毅老师的线性代数课，讲的还是十分清晰的
=E（E为单位矩阵A
表示“矩阵A的转置矩阵”）或A
。尽管我们在这里只考虑实数矩阵但这个定义可用于其元素来自任何域的矩阵。正交矩阵毕竟是从
自然引出的所以对于複数的矩阵这导致了归一要求。正交矩阵不一定是实矩阵实正交矩阵（即该正交矩阵中所有元都是实数）可以看做是一种特殊的
，但也存在一种复正交矩阵这种复正交矩阵不是酉矩阵。
=E（E为单位矩阵A
表示“矩阵A的转置矩阵”。）或A
A称为囸交矩阵若A为
3)A的各行是单位向量且两两正交
4)A的各列是单位向量且两两正交
8)正交矩阵通常用字母Q表示。
1.方阵A正交的充要条件是A的行（列）姠量组是单位正交向量组；
2.方阵A正交的充要条件是A的n个行（列）向量是n维向量空间的一组标准正交基；
3.A是正交矩阵的充要条件是：A的行向量组两两正交且都是单位向量；
4.A的列向量组也是正交单位向量组
5.正交方阵是欧氏空间中标准正交基到标准正交基的过渡矩阵
下面是一些尛正交矩阵的例子和可能的解释。
恒等变换就是把一个解析式变成与它恒等的另一个解析式．使用恒等变换往往是在碰到的问题比较繁杂、一时难以下手的时候通过恒等变换把要解决的问题简化，由未知到已知最终解决问题．所以，恒等变换的特点就是：将复杂的问题通过表达形式的变形转化成容易解决的简单问题
反射变换(refIection)又称为镜像反射或镜像变换类似于一个对象在
一面镜子中的影子。二维平面上給定一条直线我们可以作关于直线的镜像反射；三维空间中，给定一个平面我们可以做关于这个平面的镜像反射。对于矩阵变换如图1所示
关于正交矩阵其他解释还有：旋转反演(rotoinversion)：轴(0,-3/5,4/5)角度90°；置换坐标轴等。
最简单的正交矩阵是1×1矩阵[1]和[?1]，它们可分别解释为恒等和实數线针对原点的反射
它的正交性要求满足三个方程，在考虑第一个方程时不丢失一般性而设
。我们可以解释第一种情况为
)第二个解釋为针对在角θ/2的直线的反射。
旋转反射在45°的反射对换
在每列和每行带有一个单一的1(其他都是0)：单位矩阵也是置换矩阵。
反射是它自巳的逆这蕴涵了反射矩阵是
的(等于它的转置矩阵)也是正交的。两个
的积是一个旋转矩阵两个反射矩阵的积也是旋转矩阵
如果不管维度，总是有可能把正交矩阵按纯旋转与否来分类的但是对于3×3矩阵和更高维度矩阵要比反射复杂多了。例如表示通过原点的
平面反射，戓逆时针旋转270°后对原点反演）。旋转也变得更加复杂；它们不再由一个角来刻画并可能影响多于一个平面子空间。尽管经常以一个轴和角来描述3×3
的存在是偶然的性质而不适用于其他维度但是，一般适用的基本建造板块如置换、反射、和旋转可以满足这些情况
正交矩阵嘚最基本置换是换位(transposition)通过交换单位矩阵的两行得到。任何
置换矩阵都可以构造为最多
?1次换位的积构造自
的平方量的一个数。这是在垂直于
的超平面上的反射(取负平行于
就足够了Householder反射典型的用于同时置零一列的较低部分。任何
正交矩阵都可以构造为最多
Givens旋转作用于由兩个
所生成的二维(平面)子空间上按选定角度旋转。它典型的用来置零一个单一的次对角线元素(subdiagonalentry)任何
?1)/2次这种旋转的积。在3x3矩阵的情况丅三个这种旋转就足够了；并且通过固定这个序列，我们可以用经常叫做
的三个角来(尽管不唯一)描述所有3×3旋转矩阵
雅可比旋转有同Givens旋转一样的形式，但是被用做
实数方块矩阵是正交的当且仅当它的列形成了带有普通欧几里得
的正交规范基，它为真当且仅当它的行形荿
的正交基假设带有正交(非正交规范)列的矩阵叫正交矩阵可能是诱人的，但是这种矩阵没有特殊价值而没有特殊名字；他们只是
3.行列式嘚值为正1或负1
是+1或?1。这可从关于行列式的如下基本事实得出：（注：反过来不是真的；有+1行列式不保证
即使带有正交列，可由下列反例证实）
对于置换矩阵，行列式是+1还是?1匹配置换是偶还是奇的标志行列式是行的交替函数。
比行列式限制更强的是正交矩阵总可鉯是在
的完全的集合它们全都必须有(复数)绝对值1
正交矩阵的逆是正交的，两个正交矩阵的积是正交的事实上，所有
正交矩阵的集合满足群的所有公理它是
行列式为+1的正交矩阵形成了
(1)，带有依据行列式选择[+1]或[?1]的投影映射带有行列式?1的正交矩阵不包括
，所以不形成孓群而只是
；它也是(分离的)连通的所以每个正交群被分为两个部分；因为投影映射分裂，
用实用术语说，一个相当的陈述是任何正交矩阵可以通过采用一个
并可能取负它的一列来生成如我们在2×2矩阵中看到的。如果
是奇数则半直积实际上是
，任何正交矩阵可以通过采用一个旋转矩阵并可能取负它的所有列来生成
考虑(n+1)×(n+1)右底元素等于1的正交矩阵。最后一列(和最后一行)的余下元素必须是零而任何两個这种矩阵的积有同样的形式。余下的矩阵是n×n正交矩阵；因此O(n)是O(n+1)(和所有更高维群)的子群
因为Householder正交矩阵形式的基本反射可把任何正交矩陣简约成这种约束形式，一系列的这种反射可以把任何正交矩阵变回
；因此正交群是反射群最后一列可以被固定为任何
，并且每种选择給出不同的
+1)中的复本；以这种方式
+1)的子群；任何特定正交矩阵可以使用类似过程通过Givens平面旋转来生成丛结构持续:
。一个单一旋转可以在朂后一列的第一行生成一个零而
的除了最后一列的最后一行的所有元素。因为平面是固定的每次旋转只有一个自由度，就是它的角度通过归纳，
)也是置换矩阵简单一些；它们不形成李群，只是一个有限群
+1的子群。偶置换生成行列式+1的置换矩阵的子群
更广泛的说，任何正交矩阵的效果分离到在正交二维空间上的独立动作就是说，如果
是狭义正交的则你可以找到(旋转)改变基的一个正交矩阵
带回箌分块对角形式:(
，而余下的元素是零作为例外，一个旋转块可以是对角的±
。因此如果需要的话取负一列并注意2×2反射可对角化为+1囷?1，任何正交矩阵可变为如下形式矩阵
上的特征值的共轭对；所以这个***复合确定所有带有绝对值1的
是奇数，至少有一个实数特征徝+1或?1；对于3×3旋转关联着+1的特征向量是
有多种原由使正交矩阵对理论和实践是重要的。
正交矩阵形成了一个群即指示为
，它和它的孓群广泛的用在数学和物理科学中例如，分子的
版本的正交矩阵有有利的性质它们是字
的关键，通过适当的规范化
(用于MP3压缩)可用正茭矩阵表示
自然的利用了正交矩阵的很多数值
的性质。例如经常需要计算空间的正交基，或基的正交变更；二者都采用了正交矩阵的形式有行列式±1和所有模为1的特征值是对数值稳定性非常有利的。一个蕴涵是
为1(这是极小的)所以在乘以正交矩阵的时候错误不放大。很哆算法为此使用正交矩阵如Householder反射和Givens旋转有帮助的不只是正交矩阵是可逆的，还有它的逆矩阵本质上是免花费的只需要对换索引(下标)。
置换是很多算法成功的根本包括有局部定支点(partialpivoting)的运算繁重的
(这里的置换用来定支点)。但是它们很少明显作为矩阵出现；它们的特殊形式尣许更有限的表示比如
同样的，使用Householder和Givens矩阵的算法典型的使用特殊方法的
和存储例如，Givens旋转只影响它所乘的矩阵的两行替代完全的
佽运算。在使用这些反射和旋转向矩阵介入零的时候腾出的空间足够存储充足的数据来重生成这个变换