论文

自动微分综述: Automatic differentiation in machine learning- a survey.pdf

要点

• 前向模式
  • 令 dx=r, 在计算图中向前冒泡,可以方便计算函数f在x处沿r方向的方向导数。
  • 令r为单位向量,就可以计算f对任意自变量的偏导,如果有n个自变量,那么要计算n次
  • 适合从低维到高维的函数计算偏导数
  • 对偶数
• 反向模式
  • 适合从高维到低维的函数计算偏导数
• 前向+反向 可以直接计算海森矩阵与向量乘积???? [>______]