線性代數

課程簡介

重要聲明: 這份講義只是我上課內容的摘要, 光讀這份講義絕對不足以應付考試, 更不足以把線性代數學好, 請同學務必按照進度詳讀課本/參考書並仔細作其中習題. (這裡幾乎沒有習題與例子, 更沒有證明 ...)
請取得 ~~rlab~~ octave 矩陣計算機 (有各種 UNIX 版本, Windows 版, 甚至有 DOS 版)。另外「gnuplot: 函數與資料繪圖」與本課程無直接關係, 但有助於學習數學。
參考書: 大學生應該學習選擇適合自己閱讀習慣的書. 這裡所列的未必適合每個人, 只是我個人覺得不錯的書而已. 學期當中這個列表會隨時改變.
1. R. E. Larson and B. H. Edwards. Elementary Linear Algebra Heath and Company (高立圖書代理)
2. Steven J. Leon. Linear Algebra with Applications Macmillan (臺北圖書代理)
我個人的擇書重點供大家參考: 原文 (即作者以其母語撰寫, 可以是中文或英文書); 多一點直覺解釋, 而不是只有證明; 配合軟體操作.
更多線上講義

已獨立出來的講義

若 A 為一 n*n 方陣, 則以下諸命題等價:

A 為可逆
A 與 I 為列等價 (row-equivalent)
|A| != 0
rank(A) = n
N(A) = { 0 }
A 的列向量是 Rⁿ 的一組基底
A 的行向量是 Rⁿ 的一組基底
A x = 0 恰有唯一解
A x = b 恰有唯一解 x = A^-1 b
A 可表為數個基本矩陣之乘積

Elementary Matrices
1. 對一個矩陣 A 做 elementary row operations, 相當於在 A 的左邊乘上 elementary matrices. (越後來乘的, 在越左邊)
2. 每個 elementary matrix 都是 invertible, 而且它的 inverse 也是一個 elementary matrix. (每一對都長得還很像咧! 而且很容易求.)
3. invertible 方陣必可化為 elementary matrices 的乘積; 反之, elementary matrices 的乘積當然是 invertible.
學習重點: 要會把 "elementary row operation" 與 "elementary matrix 對原矩陣的乘法" 互換, 並會求效果相反的 elementary row operation.
Triangular Matrices and LU-factorization
1. Upper triangular matrix (上三角矩陣): 對角線 (不含) 以下全部為 0 的矩陣.
2. Lower triangular matrix (下三角矩陣): 對角線 (不含) 以上全部為 0 的矩陣.
3. Q: 所有 lower triangular matrices 與所有 upper triangular matrices 的交集是什麼樣的矩陣?
4. "腳踏實地法" 可以證得: 數個上三角矩陣的乘積依舊為上三角矩陣; 數個下三角矩陣的乘積依舊為下三角矩陣. (畫圖很容易就可以看出來.)
5. 觀察: 用 Gauss-Jordan Elimination 在求反矩陣時, 如果都沒有用到列對換 (row-interchange), 則: 前半段所乘的都是 lower triangular matrix; 後半段所乘的都是 upper triangular matrix.
6. 結論: upper triangular matrix 的反矩陣 (如果它確實有反矩陣的話) 也是 upper triangular; lower triangular matrix 的反矩陣 (如果它確實有反矩陣的話) 也是 lower triangular.
7. 結論: 用 Gaussian Elimination 在求 A 的 row-echelon form 時, 如果都沒有用到列對換 (row-interchange), 則: A 可寫成下三角矩陣與上三角矩陣的乘積: A = L * U. (注意這裡的條件: A 未必需要是 invertible.)
8. 把 A 寫成 L*U 有什麼好處? Triangular matrices 比較容易處理, 例如若 A 為 non-singular, 則要解 A x = b 可改為解 L U x = b. 令 U x = y 則可分兩步: 先用 forward substitution 把 y 解出來, 再用 backward substitution 把 x 解出來.

R^n 向量空間

向量: 固定長度, 固定方向, 但位置可移動的箭頭. 用 "每個方向的位移量" 來表示. 例如 u = (u1, u2, u3).

向量運算: (重要! 應像 9-9 乘法表一樣熟記!)

運算	運算式	意義
加法	u + v = (u1+v1, u2+v2, u3+v3)	將兩向量首尾相接, 另兩端點所成的新向量.
減法	u - v = (u1-v1, u2-v2, u3-v3)	將兩向量首首相接, 另兩端點所成的新向量.
乘以常數倍	cu = (cu1, cu2, cu3)	把向量沿原來的方向延伸那麼多倍.
長度	\|u\| = sqrt(u1u1+u2u2+u3*u3)	向量的長度
內積	u ? v = u1v1+u2v2+u3*v3	\|u\| \|v\| cos(t)

內積的英文為 inner product 或 dot product. 注意到: 兩向量內積為 0 若且唯若兩者互相 垂直 (orthogonal).

為什麼按照內積計算出來的值會是兩向量長度與其夾角 cos 的乘積?
1. 先畫圖導出餘弦公式: c*c = a*a + b*b - 2*a*b*cos(t)
2. 把向量長度的運算式代進去
請注意: 以上運算式不論在幾度空間 R^n 都是正確的. (嚴格地說, 當 n>3 時, 其實是我們故意把 "夾角" 定義成讓內積公式保留它的幾何意義.)
(這個定義只在 R^3 有效) 兩向量的 外積 (cross product) 為另外一個向量 a ? b = (a2*b3-a3*b2, a3*b1-a1*b3, a1*b2-a2*b1).
在 R^3 中, 兩向量 a 與 b 的外積具有以下特性 (值得背一下):
1. 它與 a 垂直.
2. 它與 b 垂直.
3. 它的長度等於 a 與 b 所張出來的平行四邊形面積.
Q: 給定 a 與 b, 請問 R^3 空間中有幾個滿足以上三個條件的向量? 提示: 把滿足各條件的向量末端繪出來, 各成一個平面或曲面. 求這三個面的交集.
平面上 a 與 b 兩向量所張出來的平行四邊形的面積為:
|a| * |b| * sin(t) = ... = |a1*b2 - a2*b1|
空間中 a, b, c 三向量所張出來的平行六面體的體積為:
|a ? b| * |c| * sin(u) = ... = | a1*b2*c3 - a1*b3*c2 + a2*b3*c1 - a2*b1*c3 + a3*b1*c2 - a3*b2*c1 |

Determinants

Determinant (行列式) 的定義 (1): 從 n*n 方陣中任意取出 n 個元素, 每列要恰有一個代表; 每行也要恰有一個代表. 把這 n 個元素相乘, 即得到 determinant 的一項. 總共有 n! 種取法, 把這 n! 項相加減, 即得到 determinant. 其中奇排列用減的; 偶排列用加的.
幾個最小的例子:
1. det(A1) = a11
2. det(A2) = a11*a22-a12*a21
3. det(A3) = a11*a22*a33 - a11*a23*a32 + a12*a23*a31 - a12*a21*a33 + a13*a21*a32 - a13*a22*31
一個 n*n 方陣 A 的 minor: 把 A 的第 i 列與第 j 行去掉, 剩下來的那個 (n-1)*(n-1) 方陣 的行列式值 叫做 A 的一個 minor, 記為 M_i,j
Determinant 的定義 (2) (正式的定義): |A| = a₁₁ M₁₁ - a₁₂ M₁₂ + a₁₃ M₁₃ - a₁₄ M₁₄ ...
Q: 數數看這樣定義下來的行列式值公式, 展開後共有多少項? (與線性代數不太相關; 複習一下你的離散數學/排列組合)
事實上想求行列式值, 不一定要對第一列展開, 可以對任何一列或任何一行展開.
根據定義, 一個 upper triangular 或 lower triangular matrix 的行列式值很好求.
Elementary row operation 如何影響行列式值?
1. 對調兩列: 行列式值變號
2. 整列乘以常數倍: 行列式值也乘以同樣倍數
3. 整列加上另外列的常數倍: 行列式值不變
可以想像有所謂的 elementary column operation; 從求行列式的角度來看, 可以想像對一個矩陣做 elementary column operation 的效果, 和對它做 elementary row operation 的效果類似.
定理: (可以記一下)
1. |A B| = |A| |B|
  這個非常重要. 這是由上面有關 elementary row operation 的性質證得的; 但是偷偷告訴你記這個就可以不要記上面的性質. (數學家會罵我亂教 ...)
2. |c A| = c^n |A|
3. 設 A 為一個 n*n 方陣, 則以下敘述等價: 重要!
  1. A is invertible (non-singular)
  2. 不論 b 為多少, A x = b 必然恰有一解.
  3. A is row equivalent to I_n.
  4. A 可以寫成 elementary matrices 的乘積.
  5. |A| != 0.
  提示: 請與純量的相對應敘述做比較 (a 的倒數存在, ax=b 恰有一解, a 可化為某些非零數字的乘積, |a| != 0)
4. |inv(A)| = 1 / |A|
5. |A'| = |A|
行列式的幾何應用:
1. R^2: 測試三點是否共線.
2. R^2: 給定兩點座標, 求過這兩點的直線方程式.
3. R^3: 測試四點是否共面.
4. R^3: 給定三點座標, 求過這三點的平面方程式.
(公式的內容是其次; 真正重要的是知道給了那些條件, 可以問什麼問題. 你可以不知道 strstr 是怎麼實作的; 但是不能不知道有 strstr 這樣的函數可以幫助你到一個字串當中去找子字串.)

(一般的, 抽象的, 不一定具有幾何意義的) 向量空間

向量空間

請比較下列幾個問題:
1. 試把 5x^2-3x+1 寫成 -x^2+x+1, x^2-x+1, x^2+x-1 這三個多項式的常數倍的和.
2. 試把 [5, -3; 0, 1] 寫成 [-1, 1; 0, 1], [1, -1; 0, 1], [1, 1; 0, -1] 這三個方陣的常數倍的和.
3. 試把 5 cos(x) - 3 sin(x) + log(x) 寫成 -cos(x)+sin(x)+log(x), cos(x)-sin(x)+log(x), cos(x)+sin(x)-log(x) 這三個函數的常數倍的和.
結論: 其實都是在解同一個線性聯立方程組.
解讀向量空間的定義:
1. 所有 "向量" 所成的集合 V: 這裡面每個元素都可以是非常 "厚重", "複雜", "沒有學過", "只有外星人才看得懂", ...
2. 但是元素與元素之間的關係卻很簡單:
  1. 兩個元素相加的結果, 居然又是這個集合 V 當中的另一個元素.
  2. 一個元素乘以常數倍的結果, 居然又是這個集合 V 當中的另一個元素.
3. 所有元素當中有一個特別的元素, 它是所有力量的平衡, 是宇宙的中心, 任何元素與它相加都沒有變化; 但是 V 這個集合裡面如果少了它就不完整. 我們姑且把它記做粗體字的 0, 稱之為零向量.
線性代數研究的就是 V 當中 元素與元素之間的關係 (乘以常數倍, 相加, 還有這兩者的組合與變化). 線性代數不研究 V 中元素的內在特性. (可以鬆一口氣了吧?) 因為將來我們所看的定理, 都是根據向量空間的定義導出來的, 幾乎從來不會用到 V 中元素內在的特性 (不要忘記, 這些元素的內在特性可能是非常複雜的, 連數學家都無法理解 ...) 所以這些定理適用的範圍很廣. 更明確地說, 只要是滿足向量空間所有公設 (axioms) 的 V, 我們的定理便可以適用. (有點像是在 C 當中, 你要使用 qsort 時, 必須傳進去一個具有特定行為模式的副程式 cmp, 只要它滿足某些條件, qsort 就會把你的資料排序完成.)
唯一需要把 V 的元素拆開來看的時候, 是在證明 V 是一個向量空間的時候, 也就是在證明 V 滿足下列公設的時候.

向量空間的公設:

公式	英文名稱
u + v is in V.	closure under addition
u + v = v + u	commutativity of addition
u + (v + w) = (u + v) + w	associativity of addition
u + 0 = u	existence of additive identity
u + (-u) = 0	existence of additive inverse
c u is in V.	closure under scalar multiplication
c (u + v) = cu + cv	distributivity
(c + d)u = cu + du	distributivity
c (d u) = (cd) u	associtivity
1 u = u	scalar identity

其他可證得的簡單性質:
1. 0 u = 0
2. c 0 = 0
3. 若 c u = 0 則 c = 0 或 v = 0
4. (-1) u = -u

subspace (子空間):
1. 定義: 一個向量空間 V 的 (非空) 子集合 W, 如果本身又是一個向量空間, 則稱之為 V 的subspace 子空間. (要使用原來的乘法與加法才算數.)
2. 定理: 一個向量空間 V 的 (非空) 子集合 W, 如果滿足加法與乘法的封閉性, 則必為 V 的子空間.
3. 定理: 子空間的交集必為子空間.
4. Q: R^2 有那些子空間? R^3 有那些子空間? 猜猜看 R^n 有那些子空間?
5. Q: C[-1,1] 在函數的加法, 及函數與純量的乘法這兩個運算下構成一個向量空間. 試問以下集合是否為 C[-1,1] 的子空間: V1 = { f(x) in C[-1,1] : f(-1)=-1 }, V2 = { f(x) in C[-1,1] : |f(x)| = f(x) for all x in [-1,1] }, V3 = { f(x) in C[-1,1] : f(-1) = f(1) = 0 }.
linear combination (線性組合):
1. 定義: 一堆 (有限個) 向量的常數倍的和即稱為這些向量的一個 linear combination (線性組合)
2. 把一個向量化為數個向量線性組合的問題, 其實就是解線性方程組的問題.
3. 定義: 把一堆 (有限個) 向量 A 的所有線性組合搜集起來所成的集合, 稱為 A 的 span; 記為 span(A).
4. 定理: span(A) 是一個子空間. 不僅如此, 它是所有包含 A 的子空間當中最小的一個.
5. 定義: span(A) 稱為 A 所張的子空間; A 稱為 span(A) 的一個 spanning set. (注意: 一個子空間可以有很多組不同的 spanning sets.)
6. 定義: 一堆 (有限個) 向量, 如果只有唯一一種方式可以讓它們的線性組合為 0, 則稱它們彼此 linearly independent (線性獨立); 如果不只一種方式, 則稱它們彼此 linearly dependent (線性相依).
7. 註: 上面所說的唯一一種方式就是取所有的係數為 0
8. 定理: 線性相依的一堆向量, 其中必有向量可化為其他向量的線性組合. 反之亦然.
9. 線性獨立/線性相依的直覺解釋: 在 R^n 當中, k 個向量 (k <= n) 必定落在同一個 k-flat 上. 如果它們竟然落在同一個 (k-1)-flat 上 (它們所張開的平行 xxx 的 x 積等於零), 就叫做線性相依; 否則就叫做線性獨立.
10. Q: 在多項式的加法, 及多項式與常數的乘法下, 所有的多項式構成一個向量空間. 請問 {x^2-5x+6, x^-4x+4} 這兩個向量線性相依或線性獨立? 若取 x=2 就可以任取不全為 0 的係數讓兩者的線性組合為 0, 這樣對嗎?
11. 小考必考題: 給你幾個向量, 問它們之間究竟是線性獨立亦或是線性相依; 若是線性相依, 請將其中一個表示為其他的線性組合.
12. Q: 請描述空間中兩個向量何時線性相依, 何時線性獨立. 三個向量呢?
13. Q: 若 u 與 v 線性獨立, 試問 u, v, u+v, u-v 當中, 有那幾對也是彼此線性獨立?
14. (要變成你的反射動作!) 重要圖象: A * x 可以解釋成
  1. A 的行向量的線性組合 (以 x1, x2, ... xn 為係數)
  2. A 的列向量分別與 x 做內積的結果
基底
1. 何謂向量空間 V 的一組 basis 基底? 多到足以張出整個 V; 少到彼此線性獨立.
2. 定理: (uniqueness of basis representation) 給定一組基底, 每個向量可以用唯一的一組數字 (即線性組合當中的係數) 來表示. (而不會出現 "兩組數字都代表同一個向量" 的窘境.) 換句話說, 一組基底之於它所張的向量空間, 就像一個長度的單位之於長度這個觀念一樣, 可以把一個觀念化簡為數字表示出來. (給定一個長度單位, 每個長度可以用唯一的一個數字來表示, 而不會出現 "兩個數字都代表同一個長度" 的窘境.)
3. 定理: 一個向量空間 V 它的每一組基底的元素個數都一樣. 把這個固定的元素個數稱為 V 的 dimension
4. 對基底的直覺解釋: (以 R^3 為例) 在原點上隨便豎起三根不共面的筷子 (長度不必一樣), 成為一組基底. 想像把這樣一組筷子複製無限多份, 平移到空間中各處, 形成一個筷子方格網 (每個方格都是一模一樣的平行六面體), 如此一來空間中每個方格頂點 (筷子交叉處) 都可用一組 (三個) 整數座標表示. 空間中其他點也可用一組實數座標表示.
5. 定理: 從 n 維向量空間 V 當中隨便挑 n 個向量, 如果它們彼此線性獨立, 則它們可構成 V 的一組基底.
6. 定理: 從 n 維向量空間 V 當中隨便挑 n 個向量, 如果它們可以張出整個 V, 則它們可構成 V 的一組基底.
7. 說明: 一種好的表示法 (例如用公分描述長度, 用身份證字號描述人, ...) 應該滿足以下三個條件:
  1. 每個物件都可以表示得出來.
  2. 每個物件都只有唯一的一種表達方式.
  3. 不同的物件有不同的表達方式.
8. 一個 (有點牽強的) 例子: 如何表達顏色? RGB, CMY, HSB (其實顏色的空間並非向量空間, 且 HSB 並不滿足 (2) ).
矩陣的秩 (rank)
1. 一個矩陣 A 的 row space: A 的列向量所張出來的空間
2. 一個矩陣 A 的 column space: A 的行向量所張出來的空間
3. 定理: 對一個矩陣做基本列運算, 所得到的新矩陣具有相同的 row space. 所以可以用基本列運算化簡矩陣至 row-echelon form, 進而得到 row space 的一組基底.
4. Q: 為什麼不直接拿原來的列向量當做基底就好了?
5. 定理: 一個方陣的 row space 與 column space 具有相同的 dimension.
6. 定義: 一個方陣 A 的 row space (或 column space) 的 dimension 就稱為 A 的 rank 秩.
7. 定理: 若 A 為一個 m * n 矩陣, 則 A x = 0 的解集合構成 R^n 的一個子空間. 這個子空間稱為 A 的 nullspace, 它的 dimension 稱為 A 的 nullity.
8. 幾何解釋: 與 A 的所有列向量垂直的向量有那些?
9. 定理: 若 A 為一個 m * n 矩陣, 則 rank(A) + nullity(A) = n.
10. 直覺提示: n 為變數個數 ...
11. 定理: (如何求 A x = b 的所有解) 若 x₀ 為 A x = b 的一組解, 則完整的解集合即是 { x₀ + x_h : x_h 屬於 A 的 nullspace }.
12. 幾何解釋: A x = b, A x = c, A x = d, ... 等等各題的解集合為空間中平行的 k-flat 其中 k 為 A 的 nullity.
13. 定理: A x = b 為 consistent 若且唯若 b 屬於 A 的 column space.
14. 定理: 與 "A 為 invertible" 這句話 (及其他許多句話) 等價的還有: "A 的行向量線性獨立", "A 的列向量線性獨立".
座標及座標轉換
1. 定義: 在向量空間 V 當中, 把一個向量 x 用一組基底 B 的線性組合來表示時, 所取的係數稱為 x 相對於 B 的 座標 (coordinates), 記做 [x]_B.
2. 直覺解釋: 向量是我們真正有興趣的東西; 基底是度量用的單位; 而座標則只是一組數字, 脫離基底單獨存在並沒有任何意義. 例如 "臺灣島的海岸線長度為 1139 公里" 這句話當中, "臺灣島的海岸線長度" 是我們真正有興趣的東西, 就算這個世界上沒有人在這裡測量, 它還是存在; 公里是一個度量用的單位; 而 1139 只是一組數字, 脫離 "公里" 單獨存在並沒有任何意義. 請仔細對照比較:
```
                向量     = 基底     * 座標
                真實的量 = 度量單位 * 讀數
        
```
  (注意: 如果我們把基底與疪標都用行向量表示, 則基底一定要寫在左邊.)
3. 平常我們寫 (2, -3, 5)^T 的意思其實是把 x = 2e1 - 3 e2 + 5 e3 這個向量用 "它相對於標準基底 S = { e1, e2, e3 } 的座標" 來表示. 所以嚴格說來, 我們不應該寫 x = (2, -3, 5)^T, 而應該寫 [x]_S = (2, -3, 5)^T.
4. transition matrix: 把 (可以是很抽象的) 向量空間 V 當中的一組基底 C = { c1, c2, ... cn } 的每個向量用 V 當中的標準基底寫出它的座標: [c1]_S, [c2]_S, ... [cn]_S 得到 n 個 R^n 當中的行向量. 把這 n 個 R^n 當中的行向量並排在一起, 形成一個 n*n 方陣, 我們姑且把它記為 [C]_S. 請仔細思考下式的意義:
  [C]_S [x]_C = [x]_S
  "若已知向量 x 相對於 C 的座標, 則在它左邊乘上「C 相對於標準基底的座標」, 可以求得向量 x 相對於標準基底的座標". 所以稱 [C]_S 為 transition matrix from C to S.
5. 請比較:
  1.609 * 707.9 = 1139
  "英哩" 這個單位用 "公里" 來表示, 它的值是 1.609; "臺灣海岸線長度" 用英哩來表示, 它的值是 707.9; "臺灣海岸線長度" 用公里來表示, 它的值是 1139.
6. 不過我們平常比較常問的問題是: "已知向量 x 相對於標準基底的座標, 求它相對於新基底 C 的座標", 那麼就把上式倒過來用:
  [x]_C = ([C]_S)^(-1) [x]_S
  (所謂倒過來用當然不是隨便把等式亂改, 而是把輸入與輸出互換, 看應該如何調整原等式.)
7. 座標轉換 (change of coordinate system; change of basis) 當然不僅止於標準基底與非標準基底, 也可以在兩套非標準基底之間發生. 可以從下列兩個式子當中隨便選一個來理解:
  1. [C]_B [x]_C = [x]_B
  2. [C]_S [x]_C = [B]_S [x]_B
8. 請比較:
  1. 1.151 * 615.0 = 707.9
  2. 1.852 * 615.0 = 1.609 * 707.9
  1 海浬 = 1.151 英哩; 1 英哩 = 1.609 公里; 1 海浬 = 1.852 公里.
  臺灣海岸線長度 = 1139 公里 = 707.9 英哩 = 615 海浬.
9. 如果連續做好幾次座標轉換呢? 每次都把最新的 transition matrix 乘在最左邊.

(一般的, 抽象的, 不一定具有幾何意義的) 內積空間

內積空間的定義: 一個向量空間加上一個 "傳入兩個向量, 傳出一個純量" 的內積函數 inner product, 即稱為一個內積空間 inner product space. 兩個向量 u 及 v 的內積記作 < u, v >, 且這個函數必須滿足下列公設 (axioms):
1. < u, v > = < v, u >
2. < u, v + w > = < u, v > + < u, w >
3. c < u, v > = < c u, v >
4. < v, v > 必然大於或等於零, 而且等號只有在 v = 0 時才成立.
內積的性質:
1. < 0, v > = < v, 0 > = 0;
2. < u + v, w > = < u, w > + < v, w >
3. c < u, v > = < u, c v >
(後兩項其實都只是把交換律應用到定義所得的結果而已.)
由內積衍生出來的定義:
1. 定義向量 u 的 norm (length, 長度) 為 | u | = sqrt(< u, u >)
2. 定義向量 u 與 v 之間的 distance (距離) 為 d(u,v) = | u - v |.
3. 定義向量 u 與 v 之間的夾角為 < u, v > / ( |u| * | v | ) 的 cos^(-1)
4. 若 < u, v > = 0 則稱 u 與 v orthogonal (正交).
內積的直覺解釋: 為了要能夠表達兩個向量之間的夾角, 及一個向量之間的距離, 而定義出來的觀念. 一個向量空間 (例如 P_n) 上可以定義很多種不同的內積 (例如對應項係數乘積的和, 或定積分); 究竟那一個定義比較符合直覺或符合應用問題的需要, 就多少需要主觀的判斷了.
重要定理:
1. Cauchy-Schwarz Inequality (哥西/舒瓦茲不等式): | < u, v > | <= |u| * |v|
2. Triangle Inequality (三角不等式): | u + v | <= |u| + |v|
3. Pythagorean Theorem (畢氏定理): u 與 v 正交若且唯若 |u+v|^2 = |u|^2 + |v|^2
定義: orthogonal projection of u onto v (u 在 v 上面的投影?): (< u, v > / < v, v >) v
投影的特性: u 在 v 上面的投影, 是 v 的延伸線上所有向量當中, 離 u 最近的一個.
定義: 一組基底 B, 若其中所有向量兩兩正交, (則 B 內所有向量必然線性獨立) 則稱 B 為一組 orthogonal basis (正交基底); 一組正交基底 B, 若其中所有向量均為單位向量, 則稱 B 為一組 orthonormal basis (正么基底).
例: 在 C[0, 2pi] 中, 若以一般的定積分做為內積的定義, 則 S = { 1, sin x, cos x, sin 2x, cos 2x, ... sin nx, cos nx } 為 span(S) 的一組正交基底.
為何我們喜歡使用正么基底? 因為座標轉換容易: 若 B = { v_i | i = 1,2, ... n } 為一組正么基底, w 為同一個空間中任何一個向量, 則 w = <w, v_1 > v_1 + <w, v_2 > v_2 + ... + <w, v_n > v_n (提示: 以 R^n 為例, 若把一組正么基底寫成一個 n*n 方陣 A, 則 A^T * A = I, 也就是說 A^(-1) = A^T, 所以兩個方向的座標轉換都不必解聯立方程組, 只要做矩陣乘法)
Gram-Schmidt Orthonormalization Process: 如何從一組基底 V = { v_i | i = 1, 2, ... n } 產生出另外一組正么基底 U = { u_i | i = 1, 2, ... n } 且 span(U) = span(V)?
```
        u_1 = v_1 / |v_1|
u_2 = w_2 / |w_2| 其中 w_2 = v_2 - <v_2,u_1>u_1
u_3 = w_3 / |w_3| 其中 w_3 = v_3 - <v_3,u_1>u_1 - <v_3,u_2>u_2
        ...
    
```
如何求 w_(i+1)? 把前 i 個向量所張開來的子空間找出來, 把 v_(i+1) 在這個子空間上的投影去掉, 就是 w_(i+1). 再找出這個方向的單位向量, 就是 u_(i+1).
QR factorization: 若把 R^m 當中 n 個線性獨立的向量 (當然 m >= n) 寫成一個矩陣 A, 則根據 Gram-Schmidt Orthonormalization Process 的過程, 可以把 A 化為 Q 與 R 的乘積, 其中 Q * Q^T = I (它的行向量就是最後產生出來的那組正么基底), 而 R 為一個上三角矩陣.
最小方差問題: 欲解 A x = b, 但無解時 (通常是因為條件個數太多, 變數個數太少), 可以改解 A^T (A x' - b) = 0. 這個方程組稱為原方程組的 normal equations. 所得到的這個解 x' 當然不一定滿足原方程組, 但它是所有 x 當中, "讓誤差最小" 的那個解. (最小方差公式的口訣: "讓誤差向量與 A 的 column space 正交!")

Linear Transformations

矩陣乘以向量的兩種解釋:
1. alias interpretation: 座標轉換 coordinate transformation
2. alibi interpretation: 線性映射 linear transformation
simliarity: A' = S^(-1) A S 同一個線性映射, 在兩個不同的座標系統下的表達方式.

Eigenvalues and Eigenvectors

何謂一個矩陣 A 的 eigenvectors? 那些被 A 作用後, 不改變方向的向量. A x = c x

Hermitian Matrices

hermitian.fgeo

線性代數 => 近代物理 => 哲學

近代物理的哲學觀

本頁最新版網址: https://frdm.cyut.edu.tw/~ckhung/b/la/; 您所看到的版本: February 14 2012 02:32:25.
作者: 朝陽科技大學資訊管理系洪朝貴
寶貝你我的地球, 請減少列印, 多用背面, 丟棄時做垃圾分類。
本文件以 Creative Commons Attribution-ShareAlike License 或以 Free Document License 方式公開授權大眾自由複製/修改/散佈。