本文目錄
1、線性系統(tǒng)Linear System
2、Vectors、Matrices
2.1 向量Vectors
2.2 矩陣Matrix
2.3 矩陣與向量相乘
3、線性方程組有解么？
3.1 線性方程組
3.2 線性組合Linear Combination
3.3 張成的空間Span
4、線性方程組有多少個解
4.1 線性相關(guān)和線性無關(guān)
4.2 秩Rank
5、求解線性方程組
5.1 初等行變換
5.2 簡化行階梯形式Reduced Row Echelon Form
5.3 滿秩
6、矩陣乘法
6.1 矩陣乘法的含義
6.2 矩陣乘法的性質(zhì)
6.3 分塊矩陣乘法
7、逆矩陣
7.1 什么是矩陣的逆
7.2 初等矩陣
7.3 什么矩陣是可逆的？
7.4 求解一個矩陣的逆
8、行列式
8.1 什么是行列式？
8.2 行列式的性質(zhì)
8.3 行列式的計算
9、子空間
9.1 子空間
9.2 零空間
9.3 列空間和行空間
10、基Basis
10.1 什么是基Basis
10.2 基的特性
10.3 判斷一個集合是否為基
10.4 三種空間的基和維度
11、坐標(biāo)系
11.1 使用基表示向量
11.2 直角坐標(biāo)系和其他坐標(biāo)系的轉(zhuǎn)換
11.3 坐標(biāo)系與線性方程
12、特征值和特征向量
12.1 什么是特征值和特征向量
12.2 如何計算特征向量
12.3 檢查一個標(biāo)量是否為特征值
12.4 計算特征值
12.5 正定矩陣&半正定矩陣
13、對角化
13.1 可對角化
13.2 可對角化的性質(zhì)
14、正交
14.1 范數(shù)和距離
14.2 點積和正交
14.3 正交補(bǔ)
14.4 正交投影
14.5 如何做正交投影
14.6 正交投影的應(yīng)用-求解線性回歸
14.7 正交基
14.8 正交矩陣
14.9 對稱矩陣
15、奇異值分解
15.1 什么是奇異值分解？
1、線性系統(tǒng)Linear System
一個線性系統(tǒng)滿足兩個條件：Persevering Multiplication和Persevering Addition。
Persevering Multiplication
Persevering Addition
多元線性方程組是一個線性系統(tǒng) 。
2、Vectors、Matrices
2.1 向量Vectors
向量是一堆數(shù)的集合，分為列向量和行向量，本文中，向量默認(rèn)是列向量，行向量用其轉(zhuǎn)置表示。
向量與標(biāo)量相乘 ，每一維都與該標(biāo)量相乘：
向量相加 ，使用平行四邊形法則：
零向量 ：所有維度的值都為0：
標(biāo)準(zhǔn)向量 ：一個維度是1，其余維度是0:
向量集 ：可以包含有限個或無限個向量：
Rn : 所有的n維向量組成的向量集合
2.2 矩陣Matrix
矩陣是一組向量：
如果矩陣有m行和n列，我們就說矩陣的大小為m*n，如果m=n，我們稱為方陣（square matrix）。
矩陣的元素下標(biāo)表示，先行后列：
矩陣與標(biāo)量相乘 ：每一個元素分別與該標(biāo)量相乘。
矩陣相加 ：兩個矩陣的形狀必須一致，同位置的元素分別相加。
零矩陣 ：所有元素均為0的矩陣。
單位矩陣Identity matrix ：必須是方陣，對角線元素為1，其余為0，用In表示n*n的單位矩陣。
同形狀的矩陣的一些運(yùn)算法則 ：
矩陣的轉(zhuǎn)置 ：沿左上到右下的對角線為軸進(jìn)行翻轉(zhuǎn)，將(i,j)位置的元素與(j,i)位置的元素互換得到的矩陣，轉(zhuǎn)置的矩陣用AT表示。
矩陣轉(zhuǎn)置的一些運(yùn)算規(guī)則 ：
2.3 矩陣與向量相乘
矩陣和向量相乘，結(jié)果如下：
從行的角度來看矩陣和向量相乘 ：從行的角度看，矩陣A和向量x相乘，其結(jié)果是矩陣的A的每一行與向量x做點積(dot product,后面再介紹) 的結(jié)果。
從列的角度來看矩陣和向量相乘 ：從列的角度看，矩陣A和向量x相乘，相當(dāng)于對矩陣A的列向量做了一次線性組合。
因此，無論從行角度還是列角度，矩陣A的列數(shù)要與向量x的維數(shù)相同。
矩陣和向量相乘的一些性質(zhì) ：
如果A和B都是m*n的矩陣，對所有的w，如果都有Aw=Bw，那么是否意味著A=B。結(jié)果是顯然的。既然是所有的w，那么我們用標(biāo)準(zhǔn)向量就可以得到A和B的每一列都是相同的，因此A=B。
3、線性方程組有解么？
3.1 線性方程組
對于一個線性方程組，我們可以寫成矩陣和向量相乘的形式：
對于一個線性方程組，其解的情況可能是無解，有唯一解或者有無窮多個解。我們把所有的解的集合稱為 解集(solution set)
如果線性方程組有解，我們就稱其為 相容的(consistent) ，若無解，則稱為 不相容的(inconsistent) 。
3.2 線性組合Linear Combination
線性組合是一個操作，將各個向量縮放之后，相加在一起，就得到了參與操作的向量之間的線性組合。
所以線性方程組的問題可以轉(zhuǎn)變成：b是否可以表示成A中列向量的線性組合？
舉幾個例子：
通過觀察上面的例子，你可能會想，在二維平面中，是不是只要兩個向量不平行，就一定有解？答案是肯定的，但有解時兩個向量不一定平行，因為目標(biāo)向量也可能跟它們平行。
3.3 張成的空間Span
對于一個向量集S，其向量的所有線性組合組成的向量集V，稱為 Span(S) ，也被稱為 S張成的空間 。
舉幾個二維空間中的例子吧，如果S中只有零向量，那么其張成的空間也只有零向量。
如果S中包含一個非零向量，那么其張成的空間是一條直線：
如果一個向量集包含兩個不平行的非零向量，那么其可以張成整個二維平面：
所以一個線性方程組的問題又可以轉(zhuǎn)換成兩一個等價的問題：向量b是否在A的列向量所張成的空間中？
4、線性方程組有多少個解
在上一節(jié)中，我們知道了如果b可以表示成A中列向量的線性組合或者b在A的列向量所張成的空間中，那么線性方程組有解，否則無解。但是，有解的情況下是唯一解還是多個解呢？我們還不知道。
4.1 線性相關(guān)和線性無關(guān)
給定一個向量集，如果其中一個向量可以表示成其余向量的線性組合，那么我們就說這組向量是 線性相關(guān)(Linear Dependent) 的。值得注意的是，零向量是任意向量的線性組合，因此只要包含零向量的向量集，都是線性相關(guān)的。
線性相關(guān)還有另一種定義，即可以找到一組非全零的標(biāo)量，使得線性組合為零向量。
與之相對應(yīng)，如果無法找到一組非全零的標(biāo)量，使得線性組合得到零向量，那么這組向量就是 線性無關(guān)的(Linear Independent) ：
判斷向量集是線性無關(guān)還是線性相關(guān)，其實就是看一個 齊次方程(Homogeneous Equations) 有無非零解：
由此，對于Ax=b，我們可以得到兩個結(jié)論：如果A的列是線性相關(guān)的，且Ax=b有解，那么，它有無窮多個解；如果Ax=b有無窮多個解，那么A的列是線性相關(guān)的：
4.2 秩Rank
矩陣的秩(Rank) 定義為線性無關(guān)的列的最大數(shù)目：
矩陣的零化度(Nullity) 是矩陣的列數(shù)減去矩陣的秩：
也就是說，如果一個m*n的矩陣，其秩為n的話，它的列是線性無關(guān)的：
所以總結(jié)一下線性方程組的解的相關(guān)問題：
5、求解線性方程組
5.1 初等行變換
如果兩個線性方程組的解集是相同的，我們就稱它們是等價的(equivalent)。
對線性方程組做以下三種操作可以得到等價的方程組：
1）交換兩行
2）對其中一行變?yōu)閗倍
3）將一行的k倍加到另一行上
上面的三種操作我們也稱為 初等行變換(elementary row operations)
這里我們介紹一下 增廣矩陣(Augmented Matrix) ，即將A和b進(jìn)行橫向拼接：
因此，通過初等行變換，如果我們能夠?qū)⒃鰪V矩陣轉(zhuǎn)換為一個相對簡單的形式，那么我們可以很快的得出最終的解。
5.2 簡化行階梯形式Reduced Row Echelon Form
我們首先介紹行階梯形式的矩陣，它滿足兩個條件，首先是非零行要在全零行的上面，其 先導(dǎo)元素(leading entries，每行的第一個非零元素) 按階梯型排列：
在上述兩個條件的基礎(chǔ)上，如果先導(dǎo)元素所在的列都是標(biāo)準(zhǔn)向量的話，那么它就是 簡化行階梯形式Reduced Row Echelon Form ：
下面的矩陣不是簡化行階梯形式：
而下面的矩陣是簡化行階梯形式：
根據(jù)簡化行階梯形式，我們很容易得到線性方程組的解的形式。
如果簡化行階梯形式是[I;b']的，那么線性方程組有唯一解：
下面的例子是有無窮多個解的情況，可以看到，第1、3、5列是包含先導(dǎo)元素的標(biāo)準(zhǔn)向量，其對應(yīng)的變量也稱為基本變量，而第2、4個變量被稱為自由變量：
下面的例子是無解的情況，先導(dǎo)元素出現(xiàn)在了最后一列：
通過將增廣矩陣化簡為簡約行階梯形式，進(jìn)而求解線性方程組解的方法，我們稱之為 高斯消元法(Gaussian Elimination)
接下來，我們來看一下簡約行階梯型形式的一些性質(zhì)：
(1)化簡為簡約行階梯型形式之后，列之間的關(guān)系不變
也就是說， 初等行變換不改變矩陣中列之間的關(guān)系 。加入A的簡約行階梯形式是R，那么Ax=0和Rx=0有相同的解集。
但是對于行來說，行階梯形式改變了行之間的關(guān)系，比如原先兩行是兩倍的關(guān)系，其中一行變?yōu)槎吨螅呔拖嗟攘耍P(guān)系自然改變了。
(2)簡約行階梯形式改變了矩陣列所張成的空間
舉個簡單的例子就能理解，假設(shè)一個矩陣是[[1,2],[2,4]]，它所張成的空間是y=2x，化簡后得到[[1,0],[0,0]]，此時所張成的空間卻是整個平面。但是沒有改變行所張成的空間。
(3)先導(dǎo)元素所在的列線性無關(guān)，其他列是這些列的線性組合
先導(dǎo)元素所在的列，在原矩陣中被稱為 主列(pivot columns) ,這些列是線性無關(guān)的，其他列可以有主列的線性組合得到。
(4) 矩陣的秩等于主列的個數(shù)，等于簡約行階梯型里非0行的個數(shù)
根據(jù)這個性質(zhì)，我們可以得到矩陣的秩的一個性質(zhì)：
Rank(A) <= Min(Number of columns,Number of rows)
因為秩等于主列的個數(shù)，所以秩一定小于等于列的個數(shù)，因為秩等于簡約行階梯型中非零行的個數(shù)，所以秩一定小于等于矩陣行的個數(shù)。
有這個性質(zhì)我們還可以得出兩個簡單的結(jié)論： 對于m*n的矩陣A，如果m<n，那么矩陣A的列一定是線性相關(guān)的 和 在Rm空間中，無法找到多于m個線性無關(guān)的向量 。
所以我們再來回顧一下矩陣秩的判定，我們已經(jīng)有多種得到矩陣秩的方式：
(5)當(dāng)m*n的矩陣A的秩為m是，方程組Ax=b恒有解
對于增廣矩陣來說，如果變?yōu)楹喖s行階梯型后先導(dǎo)元素出現(xiàn)在了最后一列，則無解。
什么情況下Ax=b恒有解呢？b是一個m*1的向量，也就是說矩陣A的列向量可以張成整個Rm空間，即A的秩為行數(shù)m，也就是A變成簡約行階梯型之后沒有全0行。
(6)m個線性無關(guān)的m維向量可以張成整個Rm空間，Rm空間中多于m個向量的向量集一定線性相關(guān)
5.3 滿秩
如果m*n的矩陣的秩為n或者m，那么說該矩陣為 滿秩(Full Rank) 。
6、矩陣乘法
6.1 矩陣乘法的含義
給定兩個矩陣A和B，其相乘結(jié)果中的元素(i,j)是矩陣A的第i行和矩陣B的第j列的內(nèi)積，因此，矩陣A的列數(shù)一定要個矩陣B的行數(shù)相等。
矩陣乘法可以看作是兩個線性方程的組合：
6.2 矩陣乘法的性質(zhì)
(1) AB <> BA
(2)(AB)T= BTAT
(3)其他性質(zhì)
(4)對角矩陣相乘
6.3 分塊矩陣乘法
分塊矩陣相乘和普通矩陣相乘其實是相同的：
7、逆矩陣
7.1 什么是矩陣的逆
如果兩個方陣A和B的乘積是單位矩陣，AB=I，那么A和B就是互為逆矩陣。
一個矩陣是 可逆的(invertible) 的，必須滿足兩個條件，首先要是方陣，其次是可以找到另一個方陣B，使得AB=I。
并不是所有的方陣都是可逆的。同時，一個矩陣的逆矩陣是唯一的 ：
逆矩陣可以用來求解一個線性方程組，但這種方法要求A是一個方陣，同時在計算上并不是十分有效率的：
7.2 初等矩陣
我們之前介紹了三種初等行變換，其實初等行變換都可以用矩陣相乘表示，這種左乘的矩陣被稱作 初等矩陣(Elementary Matrix) 。即單位矩陣經(jīng)過一次初等變換得到的矩陣。
既然左乘一個初等矩陣相當(dāng)于對單位矩陣做一次初等行變換，那么只要再左乘一個相反操作的初等矩陣，就可以再次變回單位矩陣，所以初等矩陣的逆很容易得到：
回顧我們?nèi)绾蔚玫骄仃嚨暮喖s行階梯形式，用的就是初等行變換，因此我們可以用左乘初等矩陣的形式，來得到矩陣的簡約行階梯形式。
