Merge pull request #120 from mengban/master

update ch12

ch12_网络搭建及训练/第十二章_网络搭建及训练.md

@@ -6,6 +6,18 @@
 - 3.找数据集动手跑一个网络，可以尝试更改已有的网络模型结构。
 - 4.根据自己的项目需要设计网络。
 
+<<<<<<< HEAD
+10.1.2深度优先原则。
+通常增加网络深度可以提高准确率，但同时会牺牲一些速度和内存。
+
+10.1.3卷积核size一般为奇数。
+卷积核为奇数有以下好处：
+- 1 保证锚点刚好在中间，方便以 central pixel为标准进行滑动卷积，避免了位置信息发生偏移 。
+- 2 保证在填充（Padding）时，在图像之间添加额外的零层，图像的两边仍然对称。
+
+10.1.4卷积核不是越大越好。
+AlexNet中用到了一些非常大的卷积核，比如11×11、5×5卷积核，之前人们的观念是，卷积核越大，感受野越大，看到的图片信息越多，因此获得的特征越好。但是大的卷积核会导致计算量的暴增，不利于模型深度的增加，计算性能也会降低。于是在VGG、Inception网络中，利用2个3×3卷积核的组合比1个5×5卷积核的效果更佳，同时参数量（3×3×2+1=19<26=5×5×1+1）被降低，因此后来3×3卷积核被广泛应用在各种模型中。
+=======
 10.1.2深度优先原则。   
 &#8195;&#8195;通常增加网络深度可以提高准确率，但同时会牺牲一些速度和内存。
 10.1.3卷积核size一般为奇数，并且不是越大越好。
@@ -13,6 +25,7 @@
 - 1 保证锚点刚好在中间，方便以 central pixel为标准进行滑动卷积，避免了位置信息发生偏移 。
 - 2 保证在填充（Padding）时，在图像之间添加额外的零层，图像的两边仍然对称。
 &#8195;卷积核不是越大越好。AlexNet中用到了一些非常大的卷积核，比如11×11、5×5卷积核，之前人们的观念是，卷积核越大，感受野越大，看到的图片信息越多，因此获得的特征越好。但是大的卷积核会导致计算量的暴增，不利于模型深度的增加，计算性能也会降低。于是在VGG、Inception网络中，利用2个3×3卷积核的组合比1个5×5卷积核的效果更佳，同时参数量（3×3×2+1=19<26=5×5×1+1）被降低，因此后来3×3卷积核被广泛应用在各种模型中。
+>>>>>>> upstream/master
 
 
 10.2 有哪些经典的网络模型值得我们去学习的？   
@@ -23,10 +36,49 @@
 | ----- | --------- | ----------- | ------- |
 | 1  | 2012 | AlexNet  |     ILSVRC图像分类冠军     |
 | 2  | 2014 | VGGNet  |     ILSVRC图像分类亚军     |
-| 3  | 2014 | GoogLenet|     ILSVRC图像分类冠军     |
+| 3  | 2014 | GoogLeNet|     ILSVRC图像分类冠军     |
 | 4  | 2015 | ResNet   |     ILSVRC图像分类冠军     |
 | 5  | 2017 | SeNet    |     ILSVRC图像分类冠军     | 
-![](http://wx4.sinaimg.cn/mw690/005B3ViFly1fwswhzquw2j31810or78b.jpg)
+> - 1 AlexNet
+论文:[ImageNet Classification with Deep Convolutional Neural Networks](https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf)
+代码实现:[tensorflow](https://github.com/tensorflow/tensorflow/blob/361a82d73a50a800510674b3aaa20e4845e56434/tensorflow/contrib/slim/python/slim/nets/alexnet.py)
+主要特点：
+>> - 1.第一次使用非线性激活函数ReLU。
+>> - 2.增加防加过拟合方法：Droupout层,提升了模型鲁棒性。
+>> - 3.首次使用数据增强。  
+>> - 4.首次使用GPU加速运算。
+
+>- 2 VGGNet
+论文:[Very Deep Convolutional Networks for Large-Scale Image Recognition](https://arxiv.org/abs/1409.1556)
+代码实现:[tensorflow]https://github.com/tensorflow/tensorflow/blob/361a82d73a50a800510674b3aaa20e4845e56434/tensorflow/contrib/slim/python/slim/nets/vgg.py)
+主要特点：
+>> - 1.网络结构更深。
+>> - 2.普遍使用小卷积核。
+
+>- 3 GoogLeNet
+论文:[Going Deeper with Convolutions](https://arxiv.org/abs/1409.4842)
+代码实现:[tensorflow](https://github.com/tensorflow/tensorflow/blob/361a82d73a50a800510674b3aaa20e4845e56434/tensorflow/contrib/slim/python/slim/nets/inception_v1.py)
+主要特点：
+>> - 1.增强卷积模块功能。
+>>主要的创新在于他的Inception，这是一种网中网（Network In Network）的结构，即原来的结点也是一个网络。Inception一直在不断发展，目前已经V2、V3、V4。其中1*1卷积主要用来降维，用了Inception之后整个网络结构的宽度和深度都可扩大，能够带来2-3倍的性能提升。
+>> - 2.连续小卷积代替大卷积，保证感受野不变的同时，减少了参数数目。
+>- 4 ResNet
+论文:[Deep Residual Learning for Image Recognition](https://arxiv.org/abs/1512.03385)
+代码实现:[tensorflow](https://github.com/tensorflow/tensorflow/blob/361a82d73a50a800510674b3aaa20e4845e56434/tensorflow/contrib/slim/python/slim/nets/inception_v1.py)
+主要特点:
+>> 解决了“退化”问题，即当模型的层次加深时，错误率却提高了。
+>- 5 SeNet
+论文:[Squeeze-and-Excitation Networks](https://arxiv.org/abs/1709.01507)
+代码实现:[tensorflow](https://github.com/ry/tensorflow-resnet)
+主要特点:
+>> 提出了feature recalibration，通过引入 attention 重新加权，可以得到抑制无效特征，提升有效特征的权重，并很容易地和现有网络结合，提升现有网络性能，而计算量不会增加太多。
+
+**CV领域网络结构演进历程：**
+![CV领域网络结构演进历程](./img/ch12/网络结构演进.png)
+
+**ILSVRC挑战赛历年冠军:**
+![ILSVRC挑战赛历年冠军](./img/ch12/历年冠军.png)
+
 
 &#8195;&#8195;此后，ILSVRC挑战赛的名次一直是衡量一个研究机构或企业技术水平的重要标尺。
 &#8195;&#8195;ILSVRC 2017 已是最后一届举办.2018年起，将由WebVision竞赛（Challenge on Visual Understanding by Learning from Web Data）来接棒。因此，即使ILSVRC挑战赛停办了，但其对深度学习的深远影响和巨大贡献，将永载史册。
@@ -54,4 +106,3 @@
 - 3 可变的学习速率。比如当输出准确率到达某个阈值后，可以让Learning Rate减半继续训练。
 
 
-