矩阵论基础知识

矩阵论是研究矩阵及其运算、性质与应用的数学分支,是线性代数的核心,在工程、物理、计算机科学、统计学等领域有广泛应用。

本文按 由浅入深、循序渐进 的方式组织:先建立矩阵的基本概念与运算,再引入行列式、秩、逆等方阵工具,然后讨论结构特殊的矩阵与复数情形,最后进入特征值、矩阵分解、范数等进阶主题,并以应用示例收尾。


导读:学习路径

阶段 章节 核心内容 目标
入门 §1–§2 定义、记号、特殊矩阵、基本运算 会读会写矩阵,掌握加减乘与转置
基础工具 §3–§5 行列式、秩、逆矩阵 判断可逆性,理解方程组解的结构
结构性质 §6–§7 对称/正交/正定矩阵;复数与共轭转置 识别常见矩阵类型,进入复数域
进阶理论 §8–§10 特征值、矩阵分解、范数与条件数 理解对角化、SVD 与数值稳定性
综合应用 §11 方程组、PCA、图论、机器学习等 将理论与实际问题对应

建议:每读完一节,先动手算一遍例题,再进入下一节。逆矩阵(§5)依赖行列式(§3)与秩(§4);特征值(§8)依赖行列式;范数(§10)依赖 SVD 中的奇异值概念(§9)。


§1 矩阵的定义与基础记号

1.1 什么是矩阵

为正整数,由 个数排成 列的数表,称为 矩阵

1.2 基础记号

初学阶段常用记号如下;更进阶的符号在首次出现时会再说明,完整一览见 附录:记号一览

记号 含义
行、第 列元素
矩阵的阶( 列)
所有 实(复)矩阵的集合
阶单位矩阵
零矩阵
转置矩阵
列向量(粗体小写字母)
次幂( 次自乘,

§2 特殊矩阵与基本运算

先认识几种最简单的矩阵,再学习如何对它们做运算——这是后续一切讨论的基础。

2.1 常见特殊矩阵

名称 定义
零矩阵 所有元素均为 0
单位矩阵 主对角线为 1,其余为 0 的 阶方阵
对角矩阵 非主对角线元素全为 0,常记为

对任意同阶方阵 ,有 ;对零矩阵,有

2.2 加法与数乘

同阶矩阵可相加,对应元素相加;数 与矩阵相乘,每个元素乘以

2.3 矩阵乘法

矩阵, 矩阵,则乘积 矩阵:

注意:矩阵乘法一般 不满足交换律,即 (即使两者都有定义)。

行向量左乘列向量得到标量(内积):

2.4 转置

,即行列互换。重要性质:

验证 :用上式 ,故 ;而

小结(§2):已掌握矩阵的"语法"——如何构造、相加、相乘、转置。下一节引入方阵的标量不变量 行列式


§3 行列式

行列式是 方阵 对应的一个标量,记为 或(部分文献中)(勿与后文的矩阵范数混淆)。

3.1 基本性质

  1. 交换两行,行列式变号
  2. 某行乘以 ,行列式乘以
  3. 某行加上另一行的倍数,行列式不变

3.2 低阶计算公式

3 阶行列式可用 Sarrus 法则按行(列)展开 计算。记

Sarrus 法则(仅适用于 3 阶):将矩阵的前两列再抄写到右侧,形成"扩展"的 数表。沿三条主对角线(左上 右下)各取三数相乘后相加,再减去沿三条副对角线(右上 左下)各取三数相乘之和:

此法便于手算记忆,但不推广到 4 阶及以上。

按行(列)展开(Laplace 展开):删去第 行第 列后得到的 2 阶子矩阵的行列式,称为 余子式 代数余子式 定义为 。沿任意一行或一列展开:

展开时各项符号依 交替(棋盘格规律)。此法对任意阶方阵均有效,高阶行列式通常按此方法(或结合初等行变换)计算。

3.3 例

2 阶

3 阶(按第一行展开):

性质验证:交换前两行,,符号相反。

小结(§3):行列式 是方阵可逆的第一个判据。下一节从线性无关的角度引入 ,并与方程组解联系起来。


§4 秩与线性方程组

4.1 秩的定义

矩阵 是其列向量组(或行向量组)的极大线性无关组所含向量的个数。

相关子空间记号:

记号 含义
核(零空间):满足 的所有
像(列空间)
行空间

秩的求法

方法 适用情形 要点
初等行变换 任意 矩阵(最常用 化为行阶梯形,主元个数
行列式 阶方阵
观察线性相关性 低阶、结构简单 若某行(列)为其余行(列)的线性组合,则秩小于阶数

方法一:初等行变换(推荐)

施以初等行变换(交换两行、某行乘以非零常数、某行加上另一行的倍数),化为 行阶梯形行最简形(RREF)。非零行的个数即为秩;等价地,主元列的个数也为秩。

(与 §4.3 相同矩阵):

第 1 步

第 2 步

两行非零,主元在第 列,故 。继续化为行最简形:,得 ,可读出

方法二:行列式(仅方阵)

阶方阵 满秩 。若 ,则 ,需进一步化简求精确秩。

方法三:观察线性相关性

若可直接看出某行(列)是其余行(列)的倍数或线性组合,可快速判断秩。如 §4.3 中第 行,立知 ;再结合第 行与第 行不成比例,得

(行秩 列秩);初等 变换不改变秩。

4.2 秩与方程组

矩阵 ,线性方程组 有解,当且仅当

其中 增广矩阵(将列向量 拼在 右侧)。

4.3 例

第 2 行 = 2 × 第 1 行,故列向量中线性无关的最多 2 个,

解方程组

方程有解(无穷多解)。若 ,则 ,无解。

小结(§4):秩刻画了矩阵"有效维度"。结合行列式,可以完整讨论方阵的


§5 逆矩阵

阶方阵 满足 ,则 可逆 称为 的逆矩阵。

5.1 可逆的充要条件

以下等价( 阶方阵):

5.2 2 阶求逆公式

5.3 例

验证:

小结(§5):逆矩阵是"乘法意义下的倒数"。下面讨论具有特定 结构 的矩阵——它们在线性变换与二次型中反复出现。


§6 结构特殊的矩阵(实数情形)

在掌握基本运算与逆之后,可以识别并运用几类重要的 实矩阵

名称 定义 几何 / 代数意义
对称矩阵 二次型 $ \mathbf{x}^T A \mathbf{x}$ 的系数矩阵
反对称矩阵 对角元必为 0
正交矩阵 列向量两两正交且为单位长;保长度、保角度
正定矩阵 对称,且 二次型恒正;Cholesky 分解的前提

定义为对角元之和;对称矩阵的迹等于其特征值之和(见 §8)。

6.1 例

对称矩阵:,因为

反对称矩阵:,因为

正交矩阵(旋转矩阵):

正定矩阵:,对

小结(§6):实数域上,转置 足以描述对称与正交。当元素为 复数 时,需要推广到共轭转置——见下一节。


§7 复数矩阵

在实数范围内,矩阵元素都是实数,转置 就足够了。当元素为 复数 时,需要引入 共轭 的概念。

7.1 复数的共轭

),其 共轭复数(简称 共轭)为:

几何上,复平面 用坐标 表示所有复数 为实部, 为虚部)。横轴为 实轴(Re),竖轴为 虚轴(Im)。共轭运算将 映为 ,在坐标上即

实部 不变,虚部 变号——相当于在复平面上关于 实轴(横轴)做镜像对称。取原点 为实轴与虚轴的交点,则 、垂足 落在同一条竖直线 上:

        Im (虚轴)
         ↑
         |
         |           • z = a + bi  ↔  (a, b)
         |           |
         |           | 虚部 b
         |           |
  ───────┼───────────┼──────────→ Re (实轴)
      O(0,0)       (a, 0)              实部 a
         |           |
         |           | 虚部 −b
         |           |
         |           • z̄ = a − bi  ↔  (a, −b)

图中 表示复平面上的点; 为坐标原点, 在实轴上的垂足。 关于实轴对称,虚部互为相反数。

性质 公式
共轭的和
共轭的积
模长平方
实数不变
纯虚数

复数的运算

),常用 实部 虚部 (注意 取实数值 ,而非 )。

运算 公式
加法
减法
乘法
除法
模(长度)
倒数

加减法按实部、虚部分别相加减;乘法展开时利用 ;除法将分子分母同乘分母的共轭 ,使分母变为实数 有理化)。

7.2 矩阵共轭与共轭转置

7.3 复数域上的特殊矩阵

实数情形 复数情形
对称矩阵: Hermite 矩阵
反对称矩阵: 反 Hermite 矩阵
正交矩阵: 酉矩阵(Unitary)

Hermite 矩阵的对角元必为 实数(因为 ),非对角元关于主对角线 共轭对称

酉矩阵:,故

小结(§7):共轭转置 是转置 在复数域上的自然推广;Hermite 矩阵、酉矩阵、量子力学中的可观测量都建立在其上。


§8 特征值与特征向量

阶方阵 ,若存在非零向量 和标量 ,使得

称为 特征值 称为对应于 特征向量

直观理解:特征向量在 作用下 只被拉伸(或压缩、反向),方向不变。

8.1 特征方程

特征值是 特征方程 的根:

该多项式称为 特征多项式,次数为

8.2 重要结论

8.3 例

特征方程:

验证:

小结(§8):特征值把矩阵作用"分解"为沿各特征方向的缩放。当矩阵可对角化时,可进一步做 特征值分解(见 §9)。


§9 矩阵分解

矩阵分解将复杂矩阵拆成结构简单的因子之积,便于理论分析与数值计算。由易到难:

分解 形式 适用条件 / 主要用途
LU 分解 下三角, 上三角) 方阵;解线性方程组
Cholesky 分解 对称正定矩阵
QR 分解 正交, 上三角) 任意 矩阵;最小二乘
满秩分解 列满秩, 行满秩) 任意 矩阵;秩、列/行空间
特征值分解 对角) 可对角化时
奇异值分解 (SVD) 任意矩阵;降维、图像压缩

SVD 中 对角元 称为 奇异值

9.1 分步算例

以下用具体矩阵,按步骤手算各分解。符号与上表一致。

LU 分解

,解

第 1 步(:消去第 2 行第 1 列元素。乘子 ;第 2 行减去 2 倍第 1 行:

第 2 步(读出

验证:

第 3 步(解方程组)——前代

回代

解为

Cholesky 分解

(对称正定)。

,由 逐元素递推:

第 1 列

第 2 列

QR 分解(Gram–Schmidt)

,列向量

第 1 列

第 2 列——先减去在 上的投影:

归一化:

结果

验证: 上三角)。

满秩分解

矩阵,满秩分解 写成

其中 列满秩 矩阵(), 行满秩 矩阵()。 的列张成 列空间 的行张成 行空间

(与 §4 相同,)。

第 1 步(行最简形)——对 做初等行变换:

主元在第 列,故

第 2 步(取 ——在 原矩阵 中取主元列(第 列):

第 3 步(取 ——在行最简形 中取前 个非零行(主元行):

第 4 步(验证)

读出行最简形的列关系 的第 列):,即第 列由主元列线性表出,与 的第三列 的系数一致。

:满秩分解不唯一(主元列选取、行变换路径不同均可给出不同的 )。对 矩阵, 的阶为 的阶为

特征值分解

(与 §8 相同)。

第 1 步(特征值)

第 2 步( 的特征向量)——解

第 3 步( 的特征向量)——解

第 4 步(组装

验证:

奇异值分解(SVD)

(非对角,便于展示完整流程)。

第 1 步(计算

第 2 步( 的特征值与

奇异值

第 3 步(求 ——对

第 4 步(验证),且

:若 本身已是对角阵(如 ),可直接取 (负对角元对应 中符号调整),无需完整计算

小结(§9):分解是连接理论与算法的桥梁。SVD 的奇异值也用于定义矩阵 范数条件数


§10 范数与条件数

10.1 矩阵范数

Frobenius 范数(最直观,对应元素平方和):

谱范数(2-范数):,即最大奇异值。

10.2 条件数

条件数衡量 对数据扰动的敏感程度: 越大,数值求解越 病态(不稳定)。

10.3 例

Frobenius 范数:

条件数(Frobenius 范数):,属中等敏感。

对比 Hilbert 矩阵 ,病态程度更高。


§11 典型应用

将前述工具与实际问题对应:

领域 用到的核心概念 示例
线性方程组 逆矩阵、LU 分解、秩 的求解与解的结构
线性变换 矩阵乘法、正交矩阵 旋转、投影等几何变换
主成分分析 (PCA) 对称矩阵、特征值分解 协方差矩阵的特征向量即主成分方向
图论 邻接矩阵、对角矩阵 拉普拉斯矩阵
量子力学 Hermite 矩阵、特征值 可观测量(厄米特算符)的本征值
机器学习 伪逆、矩阵乘法 线性回归

11.1 例

线性方程组,解为

线性变换:旋转矩阵 映为

PCA:数据协方差矩阵 的特征值为 ,最大特征值对应方向 为第一主成分。

图论:三角形图的邻接矩阵 ,度矩阵 ,拉普拉斯矩阵

机器学习:线性回归 ,正规方程 即矩阵求逆的应用。


附录:记号一览

本文及矩阵论中常用的记号汇总如下,按主题分类,便于查阅。

A. 矩阵、元素与维数

记号 含义
矩阵(大写字母)
矩阵 行、第 列的元素
乘积矩阵 的第
矩阵的阶( 列)
阶方阵 行数与列数均为 的方阵
所有 实矩阵的集合
所有 复矩阵的集合

B. 向量

记号 含义
列向量(粗体小写字母)
行向量(列向量的转置)
零向量
维列向量的分量表示

C. 特殊矩阵

记号 含义
阶单位矩阵(主对角线为 1,其余为 0)
零矩阵(所有元素为 0)
为主对角元的对角矩阵
对角矩阵的常用记法之一

D. 基本运算

记号 含义
矩阵加法(同阶矩阵,对应元素相加)
数乘(每个元素乘以标量
矩阵乘法(
转置(行列互换)
次幂( 次自乘,
逆矩阵(若存在;满足
Moore–Penrose 伪逆(广义逆)

E. 行列式、秩与迹

记号 含义
或 $ A
秩(列向量组或行向量组的极大线性无关组大小)
迹(主对角元之和)

F. 子空间与线性方程组

记号 含义
核(零空间):满足 的所有
像(列空间)
行空间
线性方程组
增广矩阵(将列向量 拼在 右侧)

G. 结构特殊的矩阵

记号 含义
对称矩阵
反对称矩阵
正交矩阵
Hermite 矩阵(厄米特矩阵)
反 Hermite 矩阵
酉矩阵(Unitary)
正定矩阵( 对称时)

H. 复数与共轭

记号 含义
虚数单位,
复数( 为实部, 为虚部)
复数 的共轭
复数 的模(长度)
矩阵共轭(逐元素取共轭)
共轭转置(

I. 特征值与相似

记号 含义
特征值
特征向量
特征值–特征向量关系
特征方程
相似(存在可逆 使
特征值分解( 对角, 可逆)

J. 矩阵分解

记号 含义
LU 分解( 下三角, 上三角)
Cholesky 分解( 下三角; 对称正定)
QR 分解( 正交, 上三角)
满秩分解( 列满秩, 行满秩,
奇异值分解(SVD)
奇异值(SVD 中对角元,
各分解中的因子矩阵(见上)

K. 范数与条件数

记号 含义
Frobenius 范数:
谱范数(2-范数),等于最大奇异值
条件数:
以 Frobenius 范数定义的条件数

L. 应用与其他常用符号

记号 含义
旋转矩阵(正交矩阵之一)
旋转角
协方差矩阵(如 PCA 中)
度矩阵(图论中,对角元为顶点度数)
拉普拉斯矩阵( 为邻接矩阵)
设计矩阵 / 数据矩阵(统计、机器学习中)
回归系数向量
预测值向量
求和(如矩阵乘法中的指标求和)
等价、推出(逻辑关系)
中的较小者
实数集、复数集
非负整数集

参考资料