📝笔记：简明矩阵求导术之分子布局与分母布局

Posted on 2022-03-01 Edited on 2025-01-27 In 知识库 Waline: Views:

矩阵或者向量求导时经常会被分子/分母布局搞得头大，如什么时候转置，什么时候不转置。本文将简明介绍常用的矩阵/向量求导技巧。

简单例子

$a^{⊤} x$ 对向量 $x$ 求导，举个例子：令 $a = [\begin{array}{ll} 1 \\ 2 \end{array}]$ ， $x = [\begin{array}{ll} x_{1} \\ x_{2} \end{array}]$ ，则 $a^{⊤} x = x_{1} + 2 x_{2}$

于是

$\begin{matrix} (1) & \begin{aligned} \frac{\partial a^{⊤} x}{\partial x} = & [\begin{array}{ll} \frac{\partial (x_{1} + 2 x_{2})}{\partial x_{1}} \\ \frac{\partial (x_{1} + 2 x_{2})}{\partial x_{2}} \end{array}] \\ = & [\begin{array}{ll} 1 \\ 2 \end{array}] \\ = & a (分母布局) \end{aligned} \end{matrix}$

注意，上述结果以分母布局进行排布，具体见后一节的一般形式。

$A x$ 对向量 $x$ 求导，可以举一个具体的例子对求导过程进行推导。

令 $A = [\begin{array}{ll} 1 & 2 \\ 3 & 4 \end{array}]$ ， $x = [\begin{array}{ll} x_{1} \\ x_{2} \end{array}]$ 则：

$\begin{matrix} (2) & \begin{aligned} A x = & [\begin{array}{ll} 1 & 2 \\ 3 & 4 \end{array}] [\begin{matrix} x_{1} \\ x_{2} \end{matrix}] \\ = & [\begin{matrix} x_{1} + 2 x_{2} \\ 3 x_{1} + 4 x_{2} \end{matrix}] \\ = & [\begin{array}{c} f_{1} \\ f_{2} \end{array}] \end{aligned} \end{matrix}$

所以，

$\begin{matrix} (3) & \begin{aligned} \frac{\partial A x}{\partial x} = & [\begin{array}{ll} \frac{\partial f_{1}}{\partial x_{1}} & \frac{\partial f_{2}}{\partial x_{1}} \\ \frac{\partial f_{1}}{\partial x_{2}} & \frac{\partial f_{2}}{\partial x_{2}} \end{array}] \\ = & [\begin{array}{ll} 1 & 3 \\ 2 & 4 \end{array}] \\ = & A^{⊤} (分母布局) \end{aligned} \end{matrix}$

或者，

$\begin{matrix} (4) & \begin{aligned} \frac{\partial A x}{\partial x} = & [\begin{array}{ll} \frac{\partial f_{1}}{\partial x_{1}} & \frac{\partial f_{1}}{\partial x_{2}} \\ \frac{\partial f_{2}}{\partial x_{1}} & \frac{\partial f_{2}}{\partial x_{2}} \end{array}] \\ = & [\begin{array}{ll} 1 & 2 \\ 3 & 4 \end{array}] \\ = & A (分子布局) \end{aligned} \end{matrix}$

上述求导结果的排列方式分别展示了分母布局与分子布局。

一般形式

向量一般可以被认为成一维矩阵，默认按列进行排列。向量对向量求导，如 $\partial y / \partial x$ ，其中 $y = {[\begin{array}{lll} y_{1} & \dots & y_{m} \end{array}]}^{⊤}$ 以及 $x = {[\begin{array}{lll} x_{1} & \dots & x_{n} \end{array}]}^{⊤}$

于是 $\partial y / \partial x$ 是一个拥有 $m \times n$ 元素的矩阵，那么应该如何组织这个矩阵呢？目前有两种矩阵排列方式，它们分别是：分子布局（Numerator Layout），分母布局（Denominator Layout）

分子布局

一句话就是按照分子的排列方式进行排列，分子原来怎样排列，求导之后的结果就怎样排列，如：

$\begin{matrix} (5) & \begin{matrix} \frac{\partial y}{\partial x} = [\begin{array}{ccc} \frac{\partial y_{1}}{\partial x_{1}} & \dots & \frac{\partial y_{1}}{\partial x_{n}} \\ ⋮ & ⋱ & ⋮ \\ \frac{\partial y_{m}}{\partial x_{1}} & \dots & \frac{\partial y_{m}}{\partial x_{n}} \end{array}] \\ \equiv \frac{\partial y}{\partial x^{⊤}} \end{matrix} \end{matrix}$

上式结果中，分子 $y$ 的每个元素是是按照下标 $1 . . . m$ 按列排布，于是 $\frac{\partial y}{\partial x} \in R^{m \times n}$ ，这种形式也被叫做雅可比矩阵³（Jacobian matrix）。

当 $y$ 是标量， $x$ 是向量时：

$\begin{matrix} (6) & \frac{\partial y}{\partial x} = [\begin{array}{lll} \frac{\partial y}{\partial x_{1}} & \dots & \frac{\partial y}{\partial x_{n}} \end{array}] \equiv \frac{\partial y}{\partial x^{⊤}} \end{matrix}$

上述分子布局在标量对向量的求导的数据排布中并不常见。

分母布局

$\begin{matrix} (7) & \frac{\partial y}{\partial x} = [\begin{array}{ccc} \frac{\partial y_{1}}{\partial x_{1}} & \dots & \frac{\partial y_{m}}{\partial x_{1}} \\ ⋮ & ⋱ & ⋮ \\ \frac{\partial y_{1}}{\partial x_{n}} & \dots & \frac{\partial y_{m}}{\partial x_{n}} \end{array}] \end{matrix}$

上式结果中，分母 $x$ 的每个元素是是按照下标 $1 . . . n$ 按列排布，于是 $\frac{\partial y}{\partial x} \in R^{n \times m}$

当 $y$ 是标量， $x$ 是向量时： $\begin{matrix} (8) & \frac{\partial y}{\partial x} = [\begin{matrix} \frac{\partial y}{\partial x_{1}} \\ ⋮ \\ \frac{\partial y}{\partial x_{n}} \end{matrix}] \end{matrix}$

这种标量对向量求导的情况非常常见，通常是以分母布局对求导结果进行排布。

那么向量求导两种方式结果数据排布方式的图示效果如下图所示¹：

以上两种形式比较容易搞混（通常在是否使用转置之间徘徊），在使用时务必要说明使用哪种布局！但是实际读论文时很少看到作者写明到底用的哪种，此时需要结合上下文进行判断，推理出论文公式使用的何种布局。另外，值得说明的是，如果作者没有明确说明，自己又懒得看，这时候你可以认为作者使用了“混合布局”，具体地： $\frac{\partial y}{\partial x}$ 按照分子布局， $\frac{\partial y}{\partial x}$ 按照分母布局³。

以分母布局为例，常用的矩阵求导公式有：

$\begin{matrix} (9) & \begin{aligned} \frac{\partial x^{⊤} a}{\partial x} & = a \\ \frac{\partial A x}{\partial x} & = A^{⊤} \\ \frac{\partial x^{⊤} A x}{\partial x} & = (A + A^{⊤}) x \\ \frac{\partial u^{⊤}}{\partial x} & = {(\frac{\partial u}{\partial x})}^{⊤} \end{aligned} \end{matrix}$

这里有个小技巧，即分母布局中要加个转置，这是为什么呢？因为分母布局中要求按照分母的排列方式进行组织（一般为列），而分子呢，则"被迫"需要进行转置，反映在求导结果上也就需要转置。

当 $W$ 为对称矩阵时，我们有如下公式²： $\begin{matrix} (10) & \begin{aligned} \frac{\partial}{\partial s} (x - A s)^{T} W (x - A s) & = - 2 A^{T} W (x - A s) \\ \frac{\partial}{\partial x} (x - s)^{T} W (x - s) & = 2 W (x - s) \\ \frac{\partial}{\partial s} (x - s)^{T} W (x - s) & = - 2 W (x - s) \\ \frac{\partial}{\partial x} (x - A s)^{T} W (x - A s) & = 2 W (x - A s) \\ \frac{\partial}{\partial A} (x - A s)^{T} W (x - A s) & = - 2 W (x - A s) s^{T} \end{aligned} \end{matrix}$

小节³

向量对向量求导

标量对向量求导

特别需要注意的是： $\begin{matrix} (11) & \begin{aligned} \frac{\partial u^{⊤} v}{\partial x} & = u^{⊤} \frac{\partial v}{\partial x} + v^{⊤} \frac{\partial u}{\partial x} (分子布局) \\ \frac{\partial u^{⊤} v}{\partial x} & = \frac{\partial u}{\partial x} v + \frac{\partial v}{\partial x} u (分母布局) \end{aligned} \end{matrix}$

其中 $u = u (x), v = v (x)$ , $u^{⊤} v$ 为标量。

应用

最小化误差 $E$ ：

$\begin{matrix} (12) & E = \sum_{i = 1}^{n} {(a_{i}^{⊤} x - b_{i})}^{2} = ‖ A x - b ‖^{2} \end{matrix}$

推导过程如下：

$\begin{matrix} (13) & \begin{aligned} E = ‖ A x - b ‖^{2} & = (A x - b)^{⊤} (A x - b) \\ = (x^{⊤} A^{⊤} - b^{⊤}) (A a - b) \\ = x^{⊤} A^{⊤} A x - x^{⊤} A^{⊤} b - b^{⊤} A x + b^{⊤} b \end{aligned} \end{matrix}$

我们对每项进行求导：

$\begin{matrix} (14) & \begin{aligned} \frac{\partial x^{⊤} A^{⊤} A x}{\partial x} = (A^{⊤} A + A^{⊤} A) x & = 2 A^{⊤} A x \\ \frac{\partial x^{⊤} A^{⊤} b}{\partial x} & = A^{⊤} b \\ \frac{\partial b^{⊤} A x}{\partial x} & = (b^{⊤} A)^{⊤} = A^{⊤} b \\ \frac{\partial b^{⊤} b}{\partial x} & = 0 (列向量) \end{aligned} \end{matrix}$

所以：

$\begin{matrix} (15) & \begin{aligned} \frac{\partial E}{\partial x} & = 2 A^{⊤} A x - A^{⊤} b - A^{⊤} b + 0 \\ = 2 A^{⊤} A x - 2 A^{⊤} b \end{aligned} \end{matrix}$

令 $\frac{\partial E}{\partial x} = 0$ ，我们有：

$\begin{matrix} (16) & \begin{aligned} 2 A^{⊤} A x - 2 A^{⊤} b & = 0 \\ A^{⊤} A x & = A^{⊤} b \\ x & = (A^{⊤} A)^{- 1} A^{⊤} b \end{aligned} \end{matrix}$

$x = (A^{⊤} A)^{- 1} A^{⊤} b$ 就是上述线性最小二乘问题的解。

参考

1.Matrix Differentiation in Lecture CS5240 Theoretial Foundations in Multimedia, https://www.comp.nus.edu.sg/~cs5240/lecture/matrix-diff.pdf↩︎
2.Matrix Cookbook, http://www.math.uwaterloo.ca/~hwolkowi/matrixcookbook.pdf↩︎
3.Matrix calculus, https://en.jinzhao.wiki/wiki/Matrix_calculus↩︎
4.Vector/Matrix Calculus More notes on matrix differentiation.↩︎
5.Matrix Differentiation (and some other stuff), Randal J. Barnes, Department of Civil Engineering, University of Minnesota.↩︎
6.Matrix Calculus(一款矩阵求导计算器), http://www.matrixcalculus.org/↩︎

简单例子

一般形式

分子布局

分母布局

小节3

应用

参考

小节³