add some message
This commit is contained in:
不迷茫，不等待
parent
66b507d397
commit
38eb73b8be
Binary file not shown.
|
After Width: | Height: | Size: 276 KiB |
|
|
@ -18,7 +18,7 @@ modify_log---->用来记录修改日志
|
|||
1. 修改错误内容和图片格式
|
||||
2. 修改 4.8 问题答案，添加部分论文链接
|
||||
3. 修改 4.9 格式，添加部分论文链接
|
||||
|
||||
4. 增加了一张图片，修改部分上下文不一致的名词写法
|
||||
|
||||
其他---->待增加
|
||||
2. 修改readme内容
|
||||
|
|
|
|||
|
|
@ -158,7 +158,7 @@ S4中每个特征图的大小是C3中特征图大小的1/4
|
|||
|
||||
可视化技术依赖于解卷积操作，即卷积操作的逆过程，将特征映射到像素上。由于解卷积是一种非监督学习，因此只能作为已经训练过的卷积网的探究，不能用作任何学习用途。
|
||||
|
||||
## 4.3.2 卷积与解卷积
|
||||
## 4.3.2 卷积与反卷积
|
||||
|
||||
|
||||
下图为卷积过程
|
||||
|
|
@ -183,12 +183,12 @@ S4中每个特征图的大小是C3中特征图大小的1/4
|
|||
**纠正**：卷积网中使用非线性的ReLU来修改特征图来确保特征图总是正值。为了获得在每层的有效（也应该是正值）的特征重建，也在解卷积网中利用了ReLU。
|
||||
|
||||
|
||||
**滤波**：解卷积网中利用卷积网中的相同的滤波器的转置应用到纠正过的特征图中，而不是上层的输出。也就是对滤波器进行水平方向和垂直方向的翻转。从高层向下投影使用转换变量switch，这个转化变量switch产生自向上的卷积网的最大池化操作。由于重建由一个单独的激活获得，因此也就只对应于原始输入图像的一小块。
|
||||
**滤波**：反卷积网中利用卷积网中的相同的滤波器的转置应用到纠正过的特征图中，而不是上层的输出。也就是对滤波器进行水平方向和垂直方向的翻转。从高层向下投影使用转换变量switch，这个转化变量switch产生自向上的卷积网的最大池化操作。由于重建由一个单独的激活获得，因此也就只对应于原始输入图像的一小块。
|
||||
|
||||
|
||||
|
||||
|
||||
上图左半部分是一个解卷积层，右半部分为一个卷积层。解卷积层将会重建一个来自下一层的卷积特征近似版本。图中使用switc来记录在卷积网中进行最大池化操作时每个池化区域的局部最大值的位置，经过非池化操作之后，原来的非最大值的位置都置为0。
|
||||
上图左半部分是一个反卷积层，右半部分为一个卷积层。解卷积层将会重建一个来自下一层的卷积特征近似版本。图中使用switc来记录在卷积网中进行最大池化操作时每个池化区域的局部最大值的位置，经过非池化操作之后，原来的非最大值的位置都置为0。
|
||||
|
||||
## 4.3.3 卷积可视化
|
||||
|
||||
|
|
@ -331,7 +331,7 @@ MLP的优点：
|
|||
第二层卷积层 conv2， pad是1，3 \* 3，192个特征，输出为56 \* 56 \* 192，然后进行relu，进行norm，经过pool2进行pooling，3 \* 3的核，步长为2 输出为28 \* 28 \* 192 然后进行split 分成四个支线
|
||||
|
||||
|
||||
第三层开始时 inception module ，这个的思想受到使用不同尺度的Gabor过滤器来处理多尺度问题，inception module采用不同尺度的卷积核来处理问题。3a 包含 四个支线：
|
||||
第三层开始时 inception module ，这个的思想受到使用不同尺度的Gabor过滤器来处理多尺度问题，inception module采用不同尺度的卷积核来处理问题。3a包含四个支线：
|
||||
|
||||
|
||||
1： 64个1 \* 1的卷积核（之后进行RULE计算） 变成28 \* 28 \* 64
|
||||
|
|
@ -474,10 +474,10 @@ figure 6' 17/8之间的特征图尺寸缩小
|
|||
## 4.7.4 Inception V4
|
||||
|
||||
|
||||
其实，做到现在，inception模块感觉已经做的差不多了，再做下去准确率应该也不会有大的改变。但是谷歌这帮人还是不放弃，非要把一个东西做到极致，改变不了inception模块，就改变其他的。
|
||||
其实，做到现在，Inception模块感觉已经做的差不多了，再做下去准确率应该也不会有大的改变。但是谷歌这帮人还是不放弃，非要把一个东西做到极致，改变不了Inception模块，就改变其他的。
|
||||
|
||||
|
||||
因此，作者Christian Szegedy设计了inception v4的网络，将原来卷积、池化的顺次连接（网络的前几层）替换为stem模块，来获得更深的网络结构。stem模块结构如下
|
||||
因此，作者Christian Szegedy设计了Inception v4的网络，将原来卷积、池化的顺次连接（网络的前几层）替换为stem模块，来获得更深的网络结构。stem模块结构如下：
|
||||
|
||||
|
||||
<center>stem模块</center>
|
||||
|
|
@ -485,48 +485,49 @@ figure 6' 17/8之间的特征图尺寸缩小
|
|||
|
||||
|
||||
|
||||
inception v4 中的inception模块（分别为inception A inception B inception C
|
||||
Inception v4 中的Inception模块（分别为Inception A Inception B Inception C
|
||||
|
||||
|
||||
|
||||
|
||||
inception v4中的reduction模块（分别为reduction A reduction B）
|
||||
Inception v4中的reduction模块（分别为reduction A reduction B）
|
||||
|
||||
|
||||
最终得到的inception v4结构如下图。
|
||||
最终得到的Inception v4结构如下图。
|
||||
|
||||
## 4.7.5 Inception-ResNet-v2
|
||||
|
||||
|
||||
ResNet（该网络介绍见卷积神经网络结构简述（三）残差系列网络）的结构既可以加速训练，还可以提升性能（防止梯度弥散）；Inception模块可以在同一层上获得稀疏或非稀疏的特征。有没有可能将两者进行优势互补呢？
|
||||
ResNet的结构既可以加速训练，还可以提升性能（防止梯度消失）；Inception模块可以在同一层上获得稀疏或非稀疏的特征。有没有可能将两者进行优势互补呢？
|
||||
|
||||
|
||||
Christian Szegedy等人将两个模块的优势进行了结合，设计出了Inception-ResNet网络。
|
||||
|
||||
|
||||
(inception-resnet有v1和v2两个版本，v2表现更好且更复杂，这里只介绍了v2)
|
||||
(Inception-ResNet有v1和v2两个版本，v2表现更好且更复杂，这里只介绍了v2)
|
||||
|
||||
|
||||
inception-resnet的成功，主要是它的inception-resnet模块。
|
||||
Inception-ResNet的成功，主要是它的Inception-ResNet模块。
|
||||
|
||||
|
||||
inception-resnet v2中的Inception-resnet模块如下图
|
||||
Inception-ResNet v2中的Inception-ResNet模块如下图：
|
||||
|
||||
|
||||
|
||||
|
||||
Inception-resnet模块（分别为inception-resnet-A inception-resnet-B inception-resnet-C）
|
||||
Inception-ResNet模块（分别为Inception-ResNet-A Inception-ResNet-B Inception-ResNet-C）
|
||||
|
||||
|
||||
Inception-resnet模块之间特征图尺寸的减小如下图。（类似于inception v4）
|
||||
Inception-ResNet模块之间特征图尺寸的减小如下图。（类似于Inception v4）
|
||||
|
||||
|
||||
|
||||
|
||||
inception-resnet-v2中的reduction模块（分别为reduction A reduction B）
|
||||
Inception-ResNet-v2中的reduction模块（分别为reduction A reduction B）
|
||||
|
||||
|
||||
最终得到的Inception-ResNet-v2网络结构如图(stem模块同inception v4)。
|
||||
最终得到的Inception-ResNet-v2网络结构如图(stem模块同Inception v4)。
|
||||
|
||||
|
||||
# 4.8 ResNet及其变体
|
||||
|
||||
|
|
@ -548,7 +549,7 @@ http://www.sohu.com/a/157818653_390227
|
|||
自从AlexNet投入使用以来，最先进的卷积神经网络（CNN）架构越来越深。虽然AlexNet只有5层卷积层，但VGG网络和GoogleNet（代号也为Inception_v1）分别有19层和22层。
|
||||
|
||||
|
||||
但是，如果只是通过简单地将层叠加在一起，增加网络深度并不会起到什么作用。随着网络层数的增加，就会出现梯度消失问题，这就会造成网络是难以进行训练，因为梯度反向传播到前层，重复乘法可能使梯度无穷小，这造成的结果就是，随着网络的深层，其性能趋于饱和，或者甚至开始迅速退化。
|
||||
但是，如果只是通过简单地将层叠加在一起，增加网络深度并不会起到什么作用。随着网络层数的增加，就会出现梯度消失问题，这就会造成网络是难以进行训练，因为梯度反向传播到前层，重复乘法可能使梯度无穷小，这造成的结果就是，随着网络加深，其性能趋于饱和，或者甚至开始迅速退化。
|
||||
|
||||
|
||||
|
||||
|
|
@ -685,7 +686,7 @@ http://www.sohu.com/a/157818653_390227
|
|||
|
||||
4. 如果所有人的目标都是ImageNet/VOC/Kitti/Cityscapes这种标准数据库拼性能的话，大家会慢慢收敛到比较大的网络，比如你提到的这些。但是实际上也有很多讨论不同模型结构和计算性能的文章，拿Kaiming偶像的文章[Convolutional Neural Networks at Constrained Time Cost](https://arxiv.org/pdf/1412.1710.pdf)，[Efficient and Accurate Approximations of Nonlinear Convolutional Networks](https://arxiv.org/abs/1411.4229)举例，都是分析深入浅出的好的文章。但是由于不符合发paper一定要state-of-the-art且可比较的性能的基本法，因此之后follow在这样的网络结构上继续做的人就很有限。
|
||||
|
||||
5. **在实际的应用场景中，其实是有大量的非标准模型的配置。** 比如我司在做的人脸关键点tracking可以在低端的android手机上达到5ms的运行速度（很差的手机和CPU速度差约50倍，CPU和GPU速度差约10-20倍？。。），基于的也是深度学习的网络；比如我们自己团队做的人像分割，也可以在PC CPU上达到接近800fps的速度。这些所有的深度学习的网络结构研究，基于的目标是能够在限制的环境中达到最优的性能，同时会兼顾各种平台不同的优化方案调整网络结构。其中的黑科技非常多，主要是对基础网络的结构改进，肯定不会是VGG/AlexNet/GoogleNet/ResNet152这种庞然大物。这些技术也是大家在玩FaceU，各种直播平台的贴纸和之后其他的酷炫产品时，已经不知不觉已经享用到的深度学习的成果。不过由于是正在赚钱的产品（也是因为大家非常忙懒的写paper）暂时没有对学术界公开这些技术背后的网络结构。不过欢迎大家来实习亲自参与和实现这些改变未来的技术～
|
||||
5. **在实际的应用场景中，其实是有大量的非标准模型的配置。** 比如我司在做的人脸关键点tracking可以在低端的android手机上达到5ms的运行速度（很差的手机和CPU速度差约50倍，CPU和GPU速度差约10-20倍？。。），基于的也是深度学习的网络；比如我们自己团队做的人像分割，也可以在PC的CPU上达到接近800fps的速度。这些所有的深度学习的网络结构研究，基于的目标是能够在限制的环境中达到最优的性能，同时会兼顾各种平台不同的优化方案调整网络结构。其中的黑科技非常多，主要是对基础网络的结构改进，肯定不会是VGG/AlexNet/GoogleNet/ResNet152这种庞然大物。这些技术也是大家在玩FaceU，各种直播平台的贴纸和之后其他的酷炫产品时，已经不知不觉已经享用到的深度学习的成果。不过由于是正在赚钱的产品（也是因为大家非常忙懒的写paper）暂时没有对学术界公开这些技术背后的网络结构。不过欢迎大家来实习亲自参与和实现这些改变未来的技术～
|
||||
|
||||
|
||||
### [精选回答2，作者：孔涛](https://www.zhihu.com/question/43370067/answer/129040676)：
|
||||
|
|
|
|||
Loading…
Reference in New Issue