parent
c14a279892
commit
aeef0de23f
|
|
@ -706,7 +706,7 @@ BGD、SGD、Mini-batch GD,前面均已讨论过,这里介绍一下Online GD
|
|||
|
||||
Online GD在互联网领域用的较多,比如搜索广告的点击率(CTR)预估模型,网民的点击行为会随着时间改变。用普通的BGD算法(每天更新一次)一方面耗时较长(需要对所有历史数据重新训练);另一方面,无法及时反馈用户的点击行为迁移。而Online GD算法可以实时的依据网民的点击行为进行迁移。
|
||||
|
||||
## 2.13 计算图的导数计算图解?
|
||||
## 2.13 计算图的导数计算?
|
||||
计算图导数计算是反向传播,利用链式法则和隐式函数求导。
|
||||
|
||||
假设 $z = f(u,v)$ 在点 $(u,v)$ 处偏导连续,$(u,v)$是关于 $t$ 的函数,在 $t$ 点可导,求 $z$ 在 $t$ 点的导数。
|
||||
|
|
@ -717,24 +717,16 @@ $$
|
|||
.\frac{dv}{dt}
|
||||
$$
|
||||
|
||||
为了便于理解,下面举例说明。
|
||||
假设$f(x)$是关于a, b, c的函数。链式求导法则如下:
|
||||
$$
|
||||
\frac{dJ}{du}=\frac{dJ}{dv}\frac{dv}{du},\frac{dJ}{db}=\frac{dJ}{du}\frac{du}{db},\frac{dJ}{da}=\frac{dJ}{du}\frac{du}{da}
|
||||
$$
|
||||
|
||||
链式法则用文字描述:“由两个函数凑起来的复合函数,其导数等于里边函数代入外边函数的值之导数,乘以里边函数的导数。
|
||||
|
||||
例:
|
||||
链式法则用文字描述:“由两个函数凑起来的复合函数,其导数等于里边函数代入外边函数的值之导数,乘以里边函数的导数。
|
||||
为了便于理解,下面举例说明:
|
||||
|
||||
$$
|
||||
f(x)=x^2,g(x)=2x+1
|
||||
$$
|
||||
|
||||
则
|
||||
|
||||
则:
|
||||
$$
|
||||
{f[g(x)]}'=2[g(x)] \times g'(x)=2[2x+1] \times 2=8x+1
|
||||
{f[g(x)]}'=2[g(x)] \times g'(x)=2[2x+1] \times 2=8x+4
|
||||
$$
|
||||
|
||||
|
||||
|
|
|
|||
Loading…
Reference in New Issue