Merge pull request #3 from Changzhisong/patch-1

Update README

README.md

@@ -465,221 +465,429 @@ You can use the [editor on GitHub](https://github.com/scutan90/DeepLearning-500-
 5.3 图解12种不同类型的2D卷积？	178
 
 5.4 2D卷积与3D卷积有什么区别？	181
+
 5.4.1 2D 卷积	181
+
 5.4.2 3D卷积	182
+
 5.5 有哪些池化方法？	183
+
 5.5.1一般池化（General Pooling）	183
+
 5.5.2重叠池化（OverlappingPooling）	184
+
 5.5.3空金字塔池化（Spatial Pyramid Pooling）	184
+
 5.6 1x1卷积作用？	186
+
 5.7卷积层和池化层有什么区别？ 	187
+
 5.8卷积核一定越大越好？	189
+
 5.9每层卷积只能用一种尺寸的卷积核？	189
+
 5.10怎样才能减少卷积层参数量？	190
+
 5.11卷积操作时必须同时考虑通道和区域吗？	191
+
 5.12采用宽卷积的好处有什么？ 	192
+
 5.12.1窄卷积和宽卷积	192
+
 5.12.2 为什么采用宽卷积？	192
+
 5.13卷积层输出的深度与哪个部件的个数相同？ 	192
+
 5.14 如何得到卷积层输出的深度？	193
+
 5.15激活函数通常放在卷积神经网络的那个操作之后？ 	194
+
 5.16 如何理解最大池化层有几分缩小？	194
+
 5.17理解图像卷积与反卷积	194
+
 5.17.1图像卷积	194
+
 5.17.2图像反卷积	196
+
 5.18不同卷积后图像大小计算？	198
+
 5.18.1 类型划分	198
+
 5.18.2 计算公式	199
+
 5.19 步长、填充大小与输入输出关系总结？	199
+
 5.19.1没有0填充，单位步长	200
+
 5.19.2零填充，单位步长	200
+
 5.19.3不填充，非单位步长	202
+
 5.19.4零填充，非单位步长	202
+
 5.20 理解反卷积和棋盘效应	204
+
 5.20.1为什么出现棋盘现象？	204
+
 5.20.2 有哪些方法可以避免棋盘效应？	205
+
 5.21 CNN主要的计算瓶颈？	207
+
 5.22 CNN的参数经验设置	207
+
 5.23 提高泛化能力的方法总结	208
+
 5.23.1 主要方法	208
+
 5.23.2 实验证明	208
+
 5.24 CNN在CV与NLP领域运用的联系与区别？	213
+
 5.24.1联系	213
+
 5.24.2区别	213
+
 5.25 CNN凸显共性的手段？	213
+
 5.25.1 局部连接	213
+
 5.25.2 权值共享	214
+
 5.25.3 池化操作	215
+
 5.26 全卷积与Local-Conv的异同点	215
+
 5.27 举例理解Local-Conv的作用	215
+
 5.28 简述卷积神经网络进化史	216
 
+
 第六章 循环神经网络(RNN)	218
+
 6.1 RNNs和FNNs有什么区别？	218
+
 6.2 RNNs典型特点？	218
+
 6.3 RNNs能干什么？	219
+
 6.4 RNNs在NLP中典型应用？	220
+
 6.5 RNNs训练和传统ANN训练异同点？	220
+
 6.6常见的RNNs扩展和改进模型	221
+
 6.6.1 Simple RNNs(SRNs)	221
+
 6.6.2 Bidirectional RNNs	221
+
 6.6.3 Deep(Bidirectional) RNNs	222
+
 6.6.4 Echo State Networks（ESNs）	222
+
 6.6.5 Gated Recurrent Unit Recurrent Neural Networks	224
+
 6.6.6 LSTM Netwoorks	224
+
 6.6.7 Clockwork RNNs(CW-RNNs)	225
 
+
 第七章 目标检测	228
+
 7.1基于候选区域的目标检测器	228
+
 7.1.1滑动窗口检测器	228
+
 7.1.2选择性搜索	229
+
 7.1.3 R-CNN	230
+
 7.1.4边界框回归器	230
+
 7.1.5 Fast R-CNN	231
+
 7.1.6 ROI 池化	233
+
 7.1.7 Faster R-CNN	233
+
 7.1.8候选区域网络	234
+
 7.1.9 R-CNN 方法的性能	236
+
 7.2 基于区域的全卷积神经网络（R-FCN）	237
+
 7.3 单次目标检测器	240
+
 7.3.1单次检测器	241
+
 7.3.2滑动窗口进行预测	241
+
 7.3.3 SSD	243
+
 7.4 YOLO系列	244
+
 7.4.1 YOLOv1介绍	244
+
 7.4.2 YOLOv1模型优缺点？	252
+
 7.4.3 YOLOv2	253
+
 7.4.4 YOLOv2改进策略	254
+
 7.4.5 YOLOv2的训练	261
+
 7.4.6 YOLO9000	261
+
 7.4.7 YOLOv3	263
+
 7.4.8 YOLOv3改进	264
 
+
 第八章 图像分割	269
+
 8.1 传统的基于CNN的分割方法缺点？	269
+
 8.1 FCN	269
+
 8.1.1 FCN改变了什么?	269
+
 8.1.2 FCN网络结构？	270
+
 8.1.3全卷积网络举例？	271
+
 8.1.4为什么CNN对像素级别的分类很难？	271
+
 8.1.5全连接层和卷积层如何相互转化？	272
+
 8.1.6 FCN的输入图片为什么可以是任意大小？	272
+
 8.1.7把全连接层的权重W重塑成卷积层的滤波器有什么好处？	273
+
 8.1.8反卷积层理解	275
+
 8.1.9跳级(skip)结构	276
+
 8.1.10模型训练	277
+
 8.1.11 FCN缺点	280
+
 8.2 U-Net	280
+
 8.3 SegNet	282
+
 8.4空洞卷积(Dilated Convolutions)	283
+
 8.4 RefineNet	285
+
 8.5 PSPNet	286
+
 8.6 DeepLab系列	288
+
 8.6.1 DeepLabv1	288
+
 8.6.2 DeepLabv2	289
+
 8.6.3 DeepLabv3	289
+
 8.6.4 DeepLabv3+	290
+
 8.7 Mask-R-CNN	293
+
 8.7.1 Mask-RCNN 的网络结构示意图	293
+
 8.7.2 RCNN行人检测框架	293
+
 8.7.3 Mask-RCNN 技术要点	294
+
 8.8 CNN在基于弱监督学习的图像分割中的应用	295
+
 8.8.1 Scribble标记	295
+
 8.8.2 图像级别标记	297
+
 8.8.3 DeepLab+bounding box+image-level labels	298
+
 8.8.4统一的框架	299
 
+
 第九章 强化学习	301
+
 9.1强化学习的主要特点？	301
+
 9.2强化学习应用实例	302
+
 9.3强化学习和监督式学习、非监督式学习的区别	303
+
 9.4 强化学习主要有哪些算法？	305
+
 9.5深度迁移强化学习算法	305
+
 9.6分层深度强化学习算法	306
+
 9.7深度记忆强化学习算法	306
+
 9.8 多智能体深度强化学习算法	307
+
 9.9深度强化学习算法小结	307
 
+
 第十章 迁移学习	309
+
 10.1 什么是迁移学习？	309
+
 10.2 什么是多任务学习？	309
+
 10.3 多任务学习有什么意义？	309
+
 10.4 什么是端到端的深度学习？	311
+
 10.5 端到端的深度学习举例？	311
+
 10.6 端到端的深度学习有什么挑战？	311
+
 10.7 端到端的深度学习优缺点？	312
 
+
 第十三章 优化算法	314
+
 13.1 CPU和GPU 的区别？	314
+
 13.2如何解决训练样本少的问题	315
+
 13.3 什么样的样本集不适合用深度学习?	315
+
 13.4 有没有可能找到比已知算法更好的算法?	316
+
 13.5 何为共线性, 跟过拟合有啥关联?	316
+
 13.6 广义线性模型是怎被应用在深度学习中?	316
+
 13.7 造成梯度消失的原因?	317
+
 13.8 权值初始化方法有哪些	317
+
 13.9 启发式优化算法中，如何避免陷入局部最优解？	318
+
 13.10 凸优化中如何改进GD方法以防止陷入局部最优解	319
+
 13.11 常见的损失函数？	319
+
 13.14 如何进行特征选择（feature selection）？	321
+
 13.14.1 如何考虑特征选择	321
+
 13.14.2 特征选择方法分类	321
+
 13.14.3 特征选择目的	322
+
 13.15 梯度消失/梯度爆炸原因，以及解决方法	322
+
 13.15.1 为什么要使用梯度更新规则？	322
+
 13.15.2 梯度消失、爆炸原因？	323
+
 13.15.3 梯度消失、爆炸的解决方案	324
+
 13.16 深度学习为什么不用二阶优化	325
+
 13.17 怎样优化你的深度学习系统？	326
+
 13.18为什么要设置单一数字评估指标？	326
+
 13.19满足和优化指标（Satisficing and optimizing metrics）	327
+
 13.20 怎样划分训练/开发/测试集	328
+
 13.21如何划分开发/测试集大小	329
+
 13.22什么时候该改变开发/测试集和指标？	329
+
 13.23 设置评估指标的意义？	330
+
 13.24 什么是可避免偏差？	331
+
 13.25 什么是TOP5错误率？	331
+
 13.26 什么是人类水平错误率？	332
+
 13.27 可避免偏差、几大错误率之间的关系？	332
+
 13.28 怎样选取可避免偏差及贝叶斯错误率？	332
+
 13.29 怎样减少方差？	333
+
 13.30贝叶斯错误率的最佳估计	333
+
 13.31举机器学习超过单个人类表现几个例子？	334
+
 13.32如何改善你的模型？	334
+
 13.33 理解误差分析	335
+
 13.34 为什么值得花时间查看错误标记数据？	336
+
 13.35 快速搭建初始系统的意义？	336
+
 13.36 为什么要在不同的划分上训练及测试？	337
+
 13.37 如何解决数据不匹配问题？	338
+
 13.38 梯度检验注意事项？	340
+
 13.39什么是随机梯度下降？	341
+
 13.40什么是批量梯度下降？	341
+
 13.41什么是小批量梯度下降？	341
+
 13.42怎么配置mini-batch梯度下降	342
+
 13.43 局部最优的问题	343
+
 13.44提升算法性能思路	346
 
+
 第十四章 超参数调整	358
+
 14.1 调试处理	358
+
 14.2 有哪些超参数	359
+
 14.3 如何选择调试值?	359
+
 14.4 为超参数选择合适的范围	359
+
 14.5 如何搜索超参数？	359
 
+
 第十五章 正则化	361
+
 15.1 什么是正则化？	361
+
 15.2 正则化原理？	361
+
 15.3 为什么要正则化？	361
+
 15.4 为什么正则化有利于预防过拟合？	361
+
 15.5 为什么正则化可以减少方差？	362
+
 15.6 L2正则化的理解？	362
+
 15.7 理解dropout 正则化	362
+
 15.8 有哪些dropout 正则化方法？	362
+
 15.8 如何实施dropout 正则化	363
+
 15.9 Python 实现dropout 正则化	363
+
 15.10 L2正则化和dropout 有什么不同？	363
+
 15.11 dropout有什么缺点？	363
+
 15.12 其他正则化方法？	364
 
+
 参考文献	366