线性代数1：线代初步与行列式
往往我们从两个视角来分析线性代数：代数视角和几何视角
1. 线性代数导入
特征：强调多维、并行、方程
维度特征（空间属性）：
- 方程 trick
- 并行操作（计算）
- 图论（矩阵表达）与图像
矩阵相关的计算机应用如下：
- 计算机图形学的空间坐标变换，透视投影，物理游戏引擎
- 数值分析中对于方程组的求解，对于曲线拟合的求解
- 微积分中的雅可比行列式做多重积分积分维度变换
- 图论中的邻接矩阵：PageRank 算法，基于矩阵的图描述
- 机器学习中 → LDA/PCA 的空间映射，多维并行神经网络运算，CNN 图像，SVM
线性代数基本知识的纲要如下：
行列式 → 矩阵 → 向量与线性方程组 → 相似矩阵 → 二次型 → 线性空间与线性变换
2. 对于矩阵的初步描述
矩阵往往用于描述空间的变换（作为变换的基向量组出现）。而矩阵的乘法往往反映了矩阵的本质，其是通过线性函数复合的原则来进行计算的：
\[\begin{pmatrix} a_{11} & a_{12} \\ a_{21} & a_{22} \end{pmatrix} \begin{pmatrix} x \\ y \end{pmatrix} (i, j) = \begin{pmatrix} a_{11} & a_{12} \\ a_{21} & a_{22} \end{pmatrix} (xi + yj) = (a_{11}i + a_{21}j)x + (a_{12}i + a_{22}j)y\]新的基向量实际上是 $(a_{11}i + a_{21}j, a_{12}i + a_{22}j)$，也可写作 $\begin{pmatrix} a_{11} \ a_{21} \end{pmatrix} (i, j)$ 和 $\begin{pmatrix} a_{12} \ a_{22} \end{pmatrix} (i, j)$，即 $\vec{a_1}$ 和 $\vec{a_2}$，即矩阵的列向量。所以说矩阵的列向量实际上是线性变换后新的基向量。
同时矩阵的定义是基于交叉乘积的方式，所以矩阵的乘法具有交叉乘的性质，交叉乘实际上是线性函数的复合。所以所有的矩阵乘法都相当于多个几何变换/线性函数的复合过程：
\[\begin{pmatrix} x & y & z \end{pmatrix} \begin{pmatrix} a_{11} & a_{12} & a_{13} \\ a_{21} & a_{22} & a_{23} \\ a_{31} & a_{32} & a_{33} \end{pmatrix}^T \begin{pmatrix} x \\ y \\ z \end{pmatrix}\]矩阵乘法的基本法则：左行右列相乘，结果也遵守左行右列原则。
3. 行列式为什么只有方阵形式
行列式本质：对基向量张成的体积变化的度量。
矩阵和行列式的关系：矩阵描述映射本身，行列式是映射的缩放关系
几何视角
对于矩阵为方阵时是同维度等阶变换，可以衡量体积变换：
\[\begin{pmatrix} a_{11} & a_{12} \\ a_{21} & a_{22} \end{pmatrix} \begin{pmatrix} x \\ y \end{pmatrix} = \begin{pmatrix} x' \\ y' \end{pmatrix}\]对于矩阵不是方阵，实际上是升维：
\[\begin{pmatrix} a_{11} & a_{12} \\ a_{21} & a_{22} \\ a_{31} & a_{32} \end{pmatrix} \begin{pmatrix} x \\ y \end{pmatrix} = \begin{pmatrix} x' \\ y' \\ z' \end{pmatrix}\]对于矩阵不是方阵，实际上是投影：
\[\begin{pmatrix} a_{11} & a_{12} & a_{13} \\ a_{21} & a_{22} & a_{23} \end{pmatrix} \begin{pmatrix} x \\ y \\ z \end{pmatrix} = \begin{pmatrix} x' \\ y' \end{pmatrix}\]只有方阵变换时，同维度变化才能衡量体积。
4. 行列式计算方法的推导
在行列式的本质是对于基向量张成空间描述的前提下，存在以下直观性质：
- 多重共线性：每一个向量对于体积的影响都是线性的。
- 反对称性：向量是有方向的，所以体积也是有方向的 → 结合推导出了手性问题。
证明1：通过多重线性实现拆分
\[\begin{aligned} D &= \det(\vec{a_1}, \vec{a_2}) = \begin{vmatrix} a_{11} & a_{12} \\ a_{21} & a_{22} \end{vmatrix} \\ &= \det(a_{11}\vec{e_i} + a_{21}\vec{e_j}, a_{12}\vec{e_i} + a_{22}\vec{e_j}) \\ &= \det(a_{11}\vec{e_i}, a_{12}\vec{e_i} + a_{22}\vec{e_j}) + \det(a_{21}\vec{e_j}, a_{12}\vec{e_i} + a_{22}\vec{e_j}) \\ &= \det(a_{11}\vec{e_i}, a_{12}\vec{e_i}) + \det(a_{11}\vec{e_i}, a_{22}\vec{e_j}) + \det(a_{21}\vec{e_j}, a_{12}\vec{e_i}) + \det(a_{21}\vec{e_j}, a_{22}\vec{e_j}) \\ &= a_{11}a_{12}\det(\vec{e_i}, \vec{e_i}) + a_{11}a_{22}\det(\vec{e_i}, \vec{e_j}) + a_{21}a_{12}\det(\vec{e_j}, \vec{e_i}) + a_{21}a_{22}\det(\vec{e_j}, \vec{e_j}) \end{aligned}\]证明2：反对称性和手性
对于 $\det(\vec{e_i}, \vec{e_j}, \vec{e_k})$ 和 $\det(\vec{e_j}, \vec{e_i}, \vec{e_k})$，证明 $\det(\vec{e_i}, \vec{e_j}, \vec{e_k}) = -\det(\vec{e_j}, \vec{e_i}, \vec{e_k})$。
在三维空间中，前者相当于右手坐标系下交换 x 轴和 y 轴，但无法在 z 轴保持不变的前提下实现交换。而根据手性，左手坐标系可以实现，所以证明它们互为相反数。
结合 $\det(\vec{e_i}, \vec{e_j}) = 1$ 的体积微量，可以推出所有行列式的计算公式。$(-1)^t$（t 为逆序数）实际上就是手性交换的结果。
5. 行列式性质的推导
5.1 交换变号
性质来源于上面计算方法的反对称与手性，符号变化的本质是交换。
5.2 行列等价性
$|A| = |A^T|$，可以通过展开行列式，逆序数重排来验证。
5.3 基本性质
- $|A| = |A^T|$
- 行列交换变号
- 有行或列相同则整体为 0
- 行列相消无影响
- $|cA| = c^2|A|$
- $|2\vec{a}, 2\vec{b}, 2\vec{c}| = 2^3|\vec{a}, \vec{b}, \vec{c}|$，但 $(2\vec{a}, 2\vec{b}, 2\vec{c}) = 2(\vec{a}, \vec{b}, \vec{c})$
- $|\vec{a}, \vec{b} \pm \vec{m}, \vec{c}| = |\vec{a}, \vec{b}, \vec{c}| \pm |\vec{a}, \vec{m}, \vec{c}|$
- 行列展开（对于 0 元素部分直接为 0）
6. 基本计算方法
- 直接采用行列式计算原理推出的计算公式
- 通过行列相消消出 0 或三角阵
- 对 0 多行的非 0 部分展开
- 矩阵稀疏时凑非 0 的全包括项
- 增减凑递推公式
7. 遗留问题
最小二乘对于求解 $|AA^T|$ 的本质
用矩阵算圆？