矩阵论基础知识
矩阵论是研究矩阵及其运算、性质与应用的数学分支,是线性代数的核心,在工程、物理、计算机科学、统计学等领域有广泛应用。
本文按 由浅入深、循序渐进 的方式组织:先建立矩阵的基本概念与运算,再引入行列式、秩、逆等方阵工具,然后讨论结构特殊的矩阵与复数情形,最后进入特征值、矩阵分解、范数等进阶主题,并以应用示例收尾。
导读:学习路径
| 阶段 | 章节 | 核心内容 | 目标 |
|---|---|---|---|
| 入门 | §1–§2 | 定义、记号、特殊矩阵、基本运算 | 会读会写矩阵,掌握加减乘与转置 |
| 基础工具 | §3–§5 | 行列式、秩、逆矩阵 | 判断可逆性,理解方程组解的结构 |
| 结构性质 | §6–§7 | 对称/正交/正定矩阵;复数与共轭转置 | 识别常见矩阵类型,进入复数域 |
| 进阶理论 | §8–§10 | 特征值、矩阵分解、范数与条件数 | 理解对角化、SVD 与数值稳定性 |
| 综合应用 | §11 | 方程组、PCA、图论、机器学习等 | 将理论与实际问题对应 |
建议:每读完一节,先动手算一遍例题,再进入下一节。逆矩阵(§5)依赖行列式(§3)与秩(§4);特征值(§8)依赖行列式;范数(§10)依赖 SVD 中的奇异值概念(§9)。
§1 矩阵的定义与基础记号
1.1 什么是矩阵
设 为正整数,由 个数排成 行 列的数表,称为 矩阵:
- 称为矩阵 的 (i, j) 元(第 行第 列的元素)
- 称为矩阵的 阶 或 维数
- 行数与列数相等的矩阵称为 方阵( 阶方阵)
例:
1.2 基础记号
初学阶段常用记号如下;更进阶的符号在首次出现时会再说明,完整一览见 附录:记号一览。
| 记号 | 含义 |
|---|---|
| 或 | 第 行、第 列元素 |
| 矩阵的阶( 行 列) | |
| 、 | 所有 实(复)矩阵的集合 |
| 或 | 阶单位矩阵 |
| 或 | 零矩阵 |
| 转置矩阵 | |
| 、 | 列向量(粗体小写字母) |
| 的 次幂( 次自乘,) |
§2 特殊矩阵与基本运算
先认识几种最简单的矩阵,再学习如何对它们做运算——这是后续一切讨论的基础。
2.1 常见特殊矩阵
| 名称 | 定义 |
|---|---|
| 零矩阵 | 所有元素均为 0 |
| 单位矩阵 | 主对角线为 1,其余为 0 的 阶方阵 |
| 对角矩阵 | 非主对角线元素全为 0,常记为 |
例:
对任意同阶方阵 ,有 ;对零矩阵,有 。
2.2 加法与数乘
同阶矩阵可相加,对应元素相加;数 与矩阵相乘,每个元素乘以 。
例:
2.3 矩阵乘法
设 为 矩阵, 为 矩阵,则乘积 为 矩阵:
注意:矩阵乘法一般 不满足交换律,即 (即使两者都有定义)。
例:
行向量左乘列向量得到标量(内积):
2.4 转置
,即行列互换。重要性质:。
例:
验证 :用上式 ,,故 ;而 。
小结(§2):已掌握矩阵的"语法"——如何构造、相加、相乘、转置。下一节引入方阵的标量不变量 行列式。
§3 行列式
行列式是 方阵 对应的一个标量,记为 、 或(部分文献中)(勿与后文的矩阵范数混淆)。
3.1 基本性质
- 交换两行,行列式变号
- 某行乘以 ,行列式乘以
- 某行加上另一行的倍数,行列式不变
3.2 低阶计算公式
3 阶行列式可用 Sarrus 法则 或 按行(列)展开 计算。记
Sarrus 法则(仅适用于 3 阶):将矩阵的前两列再抄写到右侧,形成"扩展"的 数表。沿三条主对角线(左上 右下)各取三数相乘后相加,再减去沿三条副对角线(右上 左下)各取三数相乘之和:
此法便于手算记忆,但不推广到 4 阶及以上。
按行(列)展开(Laplace 展开):删去第 行第 列后得到的 2 阶子矩阵的行列式,称为 余子式 ;代数余子式 定义为 。沿任意一行或一列展开:
展开时各项符号依 交替(棋盘格规律)。此法对任意阶方阵均有效,高阶行列式通常按此方法(或结合初等行变换)计算。
3.3 例
2 阶:
3 阶(按第一行展开):
性质验证:交换前两行,,符号相反。
小结(§3):行列式 是方阵可逆的第一个判据。下一节从线性无关的角度引入 秩,并与方程组解联系起来。
§4 秩与线性方程组
4.1 秩的定义
矩阵 的 秩 是其列向量组(或行向量组)的极大线性无关组所含向量的个数。
- 可逆 阶方阵的秩等于
相关子空间记号:
| 记号 | 含义 |
|---|---|
| 、 | 核(零空间):满足 的所有 |
| 、 | 像(列空间) |
| 行空间 |
秩的求法
| 方法 | 适用情形 | 要点 |
|---|---|---|
| 初等行变换 | 任意 矩阵(最常用) | 化为行阶梯形,主元个数 |
| 行列式 | 阶方阵 | |
| 观察线性相关性 | 低阶、结构简单 | 若某行(列)为其余行(列)的线性组合,则秩小于阶数 |
方法一:初等行变换(推荐)
对 施以初等行变换(交换两行、某行乘以非零常数、某行加上另一行的倍数),化为 行阶梯形 或 行最简形(RREF)。非零行的个数即为秩;等价地,主元列的个数也为秩。
例(与 §4.3 相同矩阵):
第 1 步:,:
第 2 步:,:
两行非零,主元在第 、 列,故 。继续化为行最简形:,得 ,可读出 。
方法二:行列式(仅方阵)
阶方阵 满秩 。若 ,则 ,需进一步化简求精确秩。
方法三:观察线性相关性
若可直接看出某行(列)是其余行(列)的倍数或线性组合,可快速判断秩。如 §4.3 中第 行 第 行,立知 ;再结合第 行与第 行不成比例,得 。
注:(行秩 列秩);初等 列 变换不改变秩。
4.2 秩与方程组
对 矩阵 ,线性方程组 有解,当且仅当
其中 为 增广矩阵(将列向量 拼在 右侧)。
4.3 例
第 2 行 = 2 × 第 1 行,故列向量中线性无关的最多 2 个,。
解方程组 ,:
方程有解(无穷多解)。若 ,则 ,无解。
小结(§4):秩刻画了矩阵"有效维度"。结合行列式,可以完整讨论方阵的 逆。
§5 逆矩阵
若 阶方阵 满足 ,则 可逆, 称为 的逆矩阵。
5.1 可逆的充要条件
以下等价( 为 阶方阵):
- 的列(行)向量线性无关
- 对任意 , 有唯一解
5.2 2 阶求逆公式
5.3 例
验证:。
小结(§5):逆矩阵是"乘法意义下的倒数"。下面讨论具有特定 结构 的矩阵——它们在线性变换与二次型中反复出现。
§6 结构特殊的矩阵(实数情形)
在掌握基本运算与逆之后,可以识别并运用几类重要的 实矩阵。
| 名称 | 定义 | 几何 / 代数意义 |
|---|---|---|
| 对称矩阵 | 二次型 $ \mathbf{x}^T A \mathbf{x}$ 的系数矩阵 | |
| 反对称矩阵 | 对角元必为 0 | |
| 正交矩阵 | 列向量两两正交且为单位长;保长度、保角度 | |
| 正定矩阵 | 对称,且 () | 二次型恒正;Cholesky 分解的前提 |
迹 定义为对角元之和;对称矩阵的迹等于其特征值之和(见 §8)。
6.1 例
对称矩阵:,因为 ,。
反对称矩阵:,因为 。
正交矩阵(旋转矩阵):
正定矩阵:,对 有 。
小结(§6):实数域上,转置 足以描述对称与正交。当元素为 复数 时,需要推广到共轭转置——见下一节。
§7 复数矩阵
在实数范围内,矩阵元素都是实数,转置 就足够了。当元素为 复数 时,需要引入 共轭 的概念。
7.1 复数的共轭
设 (,),其 共轭复数(简称 共轭)为:
几何上,复平面 用坐标 表示所有复数 ( 为实部, 为虚部)。横轴为 实轴(Re),竖轴为 虚轴(Im)。共轭运算将 映为 ,在坐标上即
实部 不变,虚部 变号——相当于在复平面上关于 实轴(横轴)做镜像对称。取原点 为实轴与虚轴的交点,则 、垂足 、 落在同一条竖直线 上:
Im (虚轴)
↑
|
| • z = a + bi ↔ (a, b)
| |
| | 虚部 b
| |
───────┼───────────┼──────────→ Re (实轴)
O(0,0) (a, 0) 实部 a
| |
| | 虚部 −b
| |
| • z̄ = a − bi ↔ (a, −b)
图中 • 表示复平面上的点; 为坐标原点, 是 在实轴上的垂足。 与 关于实轴对称,虚部互为相反数。
| 性质 | 公式 |
|---|---|
| 共轭的和 | |
| 共轭的积 | |
| 模长平方 | |
| 实数不变 | |
| 纯虚数 |
例:
复数的运算
设 ,(),常用 实部 、虚部 (注意 取实数值 ,而非 )。
| 运算 | 公式 |
|---|---|
| 加法 | |
| 减法 | |
| 乘法 | |
| 除法 | () |
| 模(长度) | |
| 倒数 | () |
加减法按实部、虚部分别相加减;乘法展开时利用 ;除法将分子分母同乘分母的共轭 ,使分母变为实数 (有理化)。
例:
7.2 矩阵共轭与共轭转置
- 矩阵共轭 :对 的 每个元素 分别取共轭,即 。
- 共轭转置 :先转置,再对每个元素取共轭(等价于先取共轭再转置)。
例:
7.3 复数域上的特殊矩阵
| 实数情形 | 复数情形 |
|---|---|
| 对称矩阵: | Hermite 矩阵: |
| 反对称矩阵: | 反 Hermite 矩阵: |
| 正交矩阵: | 酉矩阵(Unitary): |
Hermite 矩阵的对角元必为 实数(因为 ),非对角元关于主对角线 共轭对称:。
例:
- 对角元 为实数 ✓
- , ✓
- 故 , 是 Hermite 矩阵
酉矩阵:,,故 。
小结(§7):共轭转置 是转置 在复数域上的自然推广;Hermite 矩阵、酉矩阵、量子力学中的可观测量都建立在其上。
§8 特征值与特征向量
对 阶方阵 ,若存在非零向量 和标量 ,使得
则 称为 的 特征值, 称为对应于 的 特征向量。
直观理解:特征向量在 作用下 只被拉伸(或压缩、反向),方向不变。
8.1 特征方程
特征值是 特征方程 的根:
该多项式称为 的 特征多项式,次数为 。
8.2 重要结论
- (特征值之和等于迹)
- (特征值之积等于行列式)
- 相似矩阵 (即 对某可逆 )有相同的特征值
8.3 例
特征方程:
- ✓
- ✓
对 : 得 。
对 : 得 。
验证:。
小结(§8):特征值把矩阵作用"分解"为沿各特征方向的缩放。当矩阵可对角化时,可进一步做 特征值分解(见 §9)。
§9 矩阵分解
矩阵分解将复杂矩阵拆成结构简单的因子之积,便于理论分析与数值计算。由易到难:
| 分解 | 形式 | 适用条件 / 主要用途 |
|---|---|---|
| LU 分解 | ( 下三角, 上三角) | 方阵;解线性方程组 |
| Cholesky 分解 | 对称正定矩阵 | |
| QR 分解 | ( 正交, 上三角) | 任意 矩阵;最小二乘 |
| 满秩分解 | ( 列满秩, 行满秩) | 任意 矩阵;秩、列/行空间 |
| 特征值分解 | ( 对角) | 可对角化时 |
| 奇异值分解 (SVD) | 任意矩阵;降维、图像压缩 |
SVD 中 对角元 称为 奇异值。
9.1 分步算例
以下用具体矩阵,按步骤手算各分解。符号与上表一致。
LU 分解
例:,解 ,。
第 1 步():消去第 2 行第 1 列元素。乘子 ;第 2 行减去 2 倍第 1 行:
第 2 步(读出 、):
验证:。
第 3 步(解方程组)——前代 :
回代 :
解为 。
Cholesky 分解
例:(对称正定)。
设 ,由 逐元素递推:
第 1 列:
第 2 列:
故
QR 分解(Gram–Schmidt)
例:,列向量 ,。
第 1 列:
第 2 列——先减去在 上的投影:
归一化:
结果:
验证:(, 上三角)。
满秩分解
设 为 矩阵,。满秩分解 将 写成
其中 为 列满秩 矩阵(), 为 行满秩 矩阵()。 的列张成 列空间 , 的行张成 行空间 。
例:(与 §4 相同,,)。
第 1 步(行最简形)——对 做初等行变换:
主元在第 、 列,故 。
第 2 步(取 )——在 原矩阵 中取主元列(第 、 列):
第 3 步(取 )——在行最简形 中取前 个非零行(主元行):
第 4 步(验证):
读出行最简形的列关系( 为 的第 列):,即第 列由主元列线性表出,与 的第三列 的系数一致。
注:满秩分解不唯一(主元列选取、行变换路径不同均可给出不同的 )。对 矩阵, 的阶为 , 的阶为 。
特征值分解
例:(与 §8 相同)。
第 1 步(特征值):
第 2 步( 的特征向量)——解 :
第 3 步( 的特征向量)——解 :
第 4 步(组装 ):
验证:。
奇异值分解(SVD)
例:(非对角,便于展示完整流程)。
第 1 步(计算 ):
第 2 步( 的特征值与 ):
奇异值 ,。
- : 得
- : 得
第 3 步(求 )——对 ,:
第 4 步(验证):,且 。
注:若 本身已是对角阵(如 ),可直接取 ,(负对角元对应 中符号调整),无需完整计算 。
小结(§9):分解是连接理论与算法的桥梁。SVD 的奇异值也用于定义矩阵 范数 与 条件数。
§10 范数与条件数
10.1 矩阵范数
Frobenius 范数(最直观,对应元素平方和):
谱范数(2-范数):,即最大奇异值。
10.2 条件数
条件数衡量 对数据扰动的敏感程度: 越大,数值求解越 病态(不稳定)。
10.3 例
Frobenius 范数:
,。
条件数(Frobenius 范数):,属中等敏感。
对比 Hilbert 矩阵 ,,病态程度更高。
§11 典型应用
将前述工具与实际问题对应:
| 领域 | 用到的核心概念 | 示例 |
|---|---|---|
| 线性方程组 | 逆矩阵、LU 分解、秩 | 的求解与解的结构 |
| 线性变换 | 矩阵乘法、正交矩阵 | 旋转、投影等几何变换 |
| 主成分分析 (PCA) | 对称矩阵、特征值分解 | 协方差矩阵的特征向量即主成分方向 |
| 图论 | 邻接矩阵、对角矩阵 | 拉普拉斯矩阵 |
| 量子力学 | Hermite 矩阵、特征值 | 可观测量(厄米特算符)的本征值 |
| 机器学习 | 伪逆、矩阵乘法 | 线性回归 |
11.1 例
线性方程组:,解为 。
线性变换:旋转矩阵 将 映为 。
PCA:数据协方差矩阵 的特征值为 ,最大特征值对应方向 为第一主成分。
图论:三角形图的邻接矩阵 ,度矩阵 ,拉普拉斯矩阵 。
机器学习:线性回归 ,正规方程 即矩阵求逆的应用。
附录:记号一览
本文及矩阵论中常用的记号汇总如下,按主题分类,便于查阅。
A. 矩阵、元素与维数
| 记号 | 含义 |
|---|---|
| 矩阵(大写字母) | |
| 或 | 矩阵 第 行、第 列的元素 |
| 乘积矩阵 的第 元 | |
| 矩阵的阶( 行 列) | |
| 阶方阵 | 行数与列数均为 的方阵 |
| 所有 实矩阵的集合 | |
| 所有 复矩阵的集合 |
B. 向量
| 记号 | 含义 |
|---|---|
| 列向量(粗体小写字母) | |
| 行向量(列向量的转置) | |
| 零向量 | |
| 维列向量的分量表示 |
C. 特殊矩阵
| 记号 | 含义 |
|---|---|
| 或 | 阶单位矩阵(主对角线为 1,其余为 0) |
| 或 | 零矩阵(所有元素为 0) |
| 以 为主对角元的对角矩阵 | |
| 对角矩阵的常用记法之一 |
D. 基本运算
| 记号 | 含义 |
|---|---|
| 矩阵加法(同阶矩阵,对应元素相加) | |
| 或 | 数乘(每个元素乘以标量 或 ) |
| 矩阵乘法( 为 , 为 ) | |
| 转置(行列互换) | |
| 的 次幂( 次自乘,) | |
| 逆矩阵(若存在;满足 ) | |
| 或 | Moore–Penrose 伪逆(广义逆) |
E. 行列式、秩与迹
| 记号 | 含义 |
|---|---|
| 、 或 $ | A |
| 秩(列向量组或行向量组的极大线性无关组大小) | |
| 迹(主对角元之和) |
F. 子空间与线性方程组
| 记号 | 含义 |
|---|---|
| 、 | 核(零空间):满足 的所有 |
| 、 | 像(列空间) |
| 行空间 | |
| 线性方程组 | |
| 增广矩阵(将列向量 拼在 右侧) |
G. 结构特殊的矩阵
| 记号 | 含义 |
|---|---|
| 对称矩阵 | |
| 反对称矩阵 | |
| 正交矩阵 | |
| Hermite 矩阵(厄米特矩阵) | |
| 反 Hermite 矩阵 | |
| 酉矩阵(Unitary) | |
| () | 正定矩阵( 对称时) |
H. 复数与共轭
| 记号 | 含义 |
|---|---|
| 虚数单位, | |
| 复数( 为实部, 为虚部) | |
| 或 | 复数 的共轭 |
| 复数 的模(长度) | |
| 矩阵共轭(逐元素取共轭) | |
| 或 | 共轭转置() |
I. 特征值与相似
| 记号 | 含义 |
|---|---|
| 、 | 特征值 |
| 、 | 特征向量 |
| 特征值–特征向量关系 | |
| 特征方程 | |
| 与 相似(存在可逆 使 ) | |
| 特征值分解( 对角, 可逆) |
J. 矩阵分解
| 记号 | 含义 |
|---|---|
| LU 分解( 下三角, 上三角) | |
| Cholesky 分解( 下三角; 对称正定) | |
| QR 分解( 正交, 上三角) | |
| 满秩分解( 为 列满秩, 为 行满秩,) | |
| 奇异值分解(SVD) | |
| 、 | 奇异值(SVD 中对角元,) |
| 各分解中的因子矩阵(见上) |
K. 范数与条件数
| 记号 | 含义 |
|---|---|
| Frobenius 范数: | |
| 谱范数(2-范数),等于最大奇异值 | |
| 条件数: | |
| 以 Frobenius 范数定义的条件数 |
L. 应用与其他常用符号
| 记号 | 含义 |
|---|---|
| 、 | 旋转矩阵(正交矩阵之一) |
| 旋转角 | |
| 协方差矩阵(如 PCA 中) | |
| 度矩阵(图论中,对角元为顶点度数) | |
| 拉普拉斯矩阵( 为邻接矩阵) | |
| 设计矩阵 / 数据矩阵(统计、机器学习中) | |
| 回归系数向量 | |
| 预测值向量 | |
| 求和(如矩阵乘法中的指标求和) | |
| 、 | 等价、推出(逻辑关系) |
| 与 中的较小者 | |
| 、 | 实数集、复数集 |
| 非负整数集 |
参考资料
- 张贤达,《矩阵分析与应用》
- Roger A. Horn & Charles R. Johnson, Matrix Analysis
- Gilbert Strang, Introduction to Linear Algebra
- 丘维声,《高等代数》