2.13 计算图的导数计算? 内容修订

2.13 计算图的导数计算? 内容修订
This commit is contained in:
CoderOverflow 2019-04-11 15:06:00 +08:00 committed by GitHub
parent c14a279892
commit aeef0de23f
No known key found for this signature in database
GPG Key ID: 4AEE18F83AFDEB23
1 changed files with 5 additions and 13 deletions

View File

@ -706,7 +706,7 @@ BGD、SGD、Mini-batch GD前面均已讨论过这里介绍一下Online GD
Online GD在互联网领域用的较多比如搜索广告的点击率CTR预估模型网民的点击行为会随着时间改变。用普通的BGD算法每天更新一次一方面耗时较长需要对所有历史数据重新训练另一方面无法及时反馈用户的点击行为迁移。而Online GD算法可以实时的依据网民的点击行为进行迁移。
## 2.13 计算图的导数计算图解
## 2.13 计算图的导数计算?
计算图导数计算是反向传播,利用链式法则和隐式函数求导。
假设 $z = f(u,v)$ 在点 $(u,v)$ 处偏导连续,$(u,v)$是关于 $t$ 的函数,在 $t$ 点可导,求 $z$ 在 $t$ 点的导数。
@ -717,24 +717,16 @@ $$
.\frac{dv}{dt}
$$
为了便于理解,下面举例说明。
假设$f(x)$是关于a, b, c的函数。链式求导法则如下
$$
\frac{dJ}{du}=\frac{dJ}{dv}\frac{dv}{du},\frac{dJ}{db}=\frac{dJ}{du}\frac{du}{db},\frac{dJ}{da}=\frac{dJ}{du}\frac{du}{da}
$$
链式法则用文字描述:“由两个函数凑起来的复合函数,其导数等于里边函数代入外边函数的值之导数,乘以里边函数的导数。
例:
链式法则用文字描述:“由两个函数凑起来的复合函数,其导数等于里边函数代入外边函数的值之导数,乘以里边函数的导数。
为了便于理解,下面举例说明:
$$
f(x)=x^2,g(x)=2x+1
$$
则:
$$
{f[g(x)]}'=2[g(x)] \times g'(x)=2[2x+1] \times 2=8x+1
{f[g(x)]}'=2[g(x)] \times g'(x)=2[2x+1] \times 2=8x+4
$$