矩阵求导

矩阵求导是多元微积分在矩阵空间中的应用，它涉及到标量、向量和矩阵之间的求导。以下是矩阵求导的一些基本规则和例子：

基本规则

  1. 标量函数对向量求导
  • 如果有一个标量函数 y 对一个向量 x 求导，结果是一个向量，其每个元素是 y 对 x 中每个元素的偏导数。
  1. 向量对标量求导
  • 如果有一个向量 y 对一个标量 x 求导，结果是一个向量，其每个元素是 y 对 x 中每个元素的偏导数。
  1. 矩阵对向量求导
  • 如果有一个矩阵 Y 对一个向量 X 求导，结果是一个矩阵，其每个元素是 Y 对 X 中每个元素的偏导数构成的矩阵。
  1. 标量对矩阵求导
  • 如果有一个标量 y 对一个矩阵 X 求导，结果是一个矩阵，其每个元素是 y 对 X 中每个元素的偏导数构成的矩阵。

例子

  1. 标量函数对列向量求导
  • 如果 Y = f(X)，其中 Y 是 m×n 矩阵，X 是 n×1 列向量，那么 dY/dX 是一个 m×1 列向量，其每个元素是 Y 对 X 中每个元素的偏导数。
  1. 矩阵乘法求导
  • 如果 Y = AX，其中 Y 是 p×q 矩阵，X 是 n×1 列向量，A 是 p×n 矩阵，那么 dY/dX 是一个 p×1 列向量，其每个元素是 A 对 X 中每个元素的偏导数构成的 p×1 列向量。
  1. 矩阵对矩阵求导
  • 如果 F 是 p×q 矩阵，X 是 m×n 矩阵，那么 dF/dX 是一个 mp×nq 矩阵，其每个元素是 F 对 X 中每个元素的偏导数构成的 p×q 矩阵。

符号约定

  • x 表示标量或向量，X 表示矩阵，Y 表示矩阵。

  • x(加粗)表示向量，X(加粗)表示矩阵。

  • vec(F) 表示矩阵 F 的列向量化，vec(X) 表示矩阵 X 的列向量化。

布局方式

  • 分子布局 ：导数矩阵中 y 的元素排列方式与 y 相同，x 的元素的排列方式与 x^T 相同。

  • 分母布局 ：导数矩阵中 y 的元素排列方式与 y 相同，x 的元素的排列方式与 x 相同。

链式法则

  • 如果 y 是 u 的函数，u 是 x 的函数，那么 dy/dx = (dy/du) * (du/dx)。

重要结论

  • d(AX)/dX = A。

  • d(A*X*B)/dX = B*A。

  • d(A*X*B)/dX = B*A。

以上是矩阵求导的基本规则和例子。

Top
×
×