Merge branch 'master' of https://github.com/scutan90/DeepLearning-500-questions
This commit is contained in:
commit
a2419877c7
|
|
@ -36,7 +36,7 @@ $$ a_{ik}*b_{kj}=c_{ij} \tag{1.3-1} $$
|
|||
而矩阵和向量相乘可以看成是矩阵相乘的一个特殊情况,例如:矩阵$B$是一个$n \times 1$的矩阵。
|
||||
|
||||
## 1.4 向量和矩阵的范数归纳
|
||||
**向量的范数**
|
||||
**向量的范数(norm)**
|
||||
定义一个向量为:$\vec{a}=[-5, 6, 8, -10]$。任意一组向量设为$\vec{x}=(x_1,x_2,...,x_N)$。其不同范数求解如下:
|
||||
|
||||
- 向量的1范数:向量的各个元素的绝对值之和,上述向量$\vec{a}$的1范数结果就是:29。
|
||||
|
|
@ -127,7 +127,7 @@ $$
|
|||
## 1.6 导数偏导计算
|
||||
**导数定义**:
|
||||
|
||||
导数代表了在自变量变化趋于无穷小的时候,函数值的变化与自变量的变化的比值。几何意义是这个点的切线。物理意义是该时刻的(瞬时)变化率。
|
||||
导数(derivative)代表了在自变量变化趋于无穷小的时候,函数值的变化与自变量的变化的比值。几何意义是这个点的切线。物理意义是该时刻的(瞬时)变化率。
|
||||
|
||||
|
||||
*注意*:在一元函数中,只有一个自变量变动,也就是说只存在一个方向的变化率,这也就是为什么一元函数没有偏导数的原因。在物理学中有平均速度和瞬时速度之说。平均速度有
|
||||
|
|
@ -160,7 +160,7 @@ $$
|
|||
|
||||
**偏导数**:
|
||||
|
||||
既然谈到偏导数,那就至少涉及到两个自变量。以两个自变量为例,$z=f(x,y)$,从导数到偏导数,也就是从曲线来到了曲面。曲线上的一点,其切线只有一条。但是曲面上的一点,切线有无数条。而偏导数就是指多元函数沿着坐标轴的变化率。
|
||||
既然谈到偏导数(partial derivative),那就至少涉及到两个自变量。以两个自变量为例,$z=f(x,y)$,从导数到偏导数,也就是从曲线来到了曲面。曲线上的一点,其切线只有一条。但是曲面上的一点,切线有无数条。而偏导数就是指多元函数沿着坐标轴的变化率。
|
||||
|
||||
|
||||
*注意*:直观地说,偏导数也就是函数在某一点上沿坐标轴正方向的的变化率。
|
||||
|
|
@ -185,7 +185,7 @@ $$
|
|||
> - 求偏导时要注意,对一个变量求导,则视另一个变量为常数,只对改变量求导,从而将偏导的求解转化成了一元函数的求导。
|
||||
|
||||
## 1.8 特征值分解与特征向量
|
||||
- 特征值分解可以得到特征值与特征向量;
|
||||
- 特征值分解可以得到特征值(eigenvalues)与特征向量(eigenvectors);
|
||||
|
||||
- 特征值表示的是这个特征到底有多重要,而特征向量表示这个特征是什么。
|
||||
|
||||
|
|
|
|||
|
|
@ -312,7 +312,7 @@ $$
|
|||
J = \frac{1}{2n}\sum_x\Vert y(x)-a^L(x)\Vert^2
|
||||
$$
|
||||
|
||||
其中,$J$表示代价函数,$x$表示样本,$y$示实际值,$a$表示输出值,$n$表示样本的总数。使用一个样本为例简单说明,此时二次代价函数为:
|
||||
其中,$J$表示代价函数,$x$表示样本,$y$表示实际值,$a$表示输出值,$n$表示样本的总数。使用一个样本为例简单说明,此时二次代价函数为:
|
||||
$$
|
||||
J = \frac{(y-a)^2}{2}
|
||||
$$
|
||||
|
|
|
|||
Loading…
Reference in New Issue