diff --git a/README.md b/README.md index ec40fbc..66f3aa5 100644 --- a/README.md +++ b/README.md @@ -450,227 +450,426 @@ You can use the [editor on GitHub](https://github.com/scutan90/DeepLearning-500- 5.3.2扩张卷积 175 -5.3.3转置卷积 176 +5.3.3转置卷积 176 5.3.4可分离卷积 177 -5.3 图解12种不同类型的2D卷积? 178 +5.3 图解12种不同类型的2D卷积? 178 + +5.4 2D卷积与3D卷积有什么区别? 181 + +5.4.1 2D 卷积 181 + +5.4.2 3D卷积 182 + +5.5 有哪些池化方法? 183 + +5.5.1一般池化(General Pooling) 183 + +5.5.2重叠池化(OverlappingPooling) 184 + +5.5.3空金字塔池化(Spatial Pyramid Pooling) 184 -5.4 2D卷积与3D卷积有什么区别? 181 -5.4.1 2D 卷积 181 -5.4.2 3D卷积 182 -5.5 有哪些池化方法? 183 -5.5.1一般池化(General Pooling) 183 -5.5.2重叠池化(OverlappingPooling) 184 -5.5.3空金字塔池化(Spatial Pyramid Pooling) 184 5.6 1x1卷积作用? 186 + 5.7卷积层和池化层有什么区别?  187 + 5.8卷积核一定越大越好? 189 + 5.9每层卷积只能用一种尺寸的卷积核? 189 + 5.10怎样才能减少卷积层参数量? 190 + 5.11卷积操作时必须同时考虑通道和区域吗? 191 + 5.12采用宽卷积的好处有什么?  192 + 5.12.1窄卷积和宽卷积 192 + 5.12.2 为什么采用宽卷积? 192 + 5.13卷积层输出的深度与哪个部件的个数相同?  192 + 5.14 如何得到卷积层输出的深度? 193 + 5.15激活函数通常放在卷积神经网络的那个操作之后?  194 + 5.16 如何理解最大池化层有几分缩小? 194 + 5.17理解图像卷积与反卷积 194 + 5.17.1图像卷积 194 + 5.17.2图像反卷积 196 + 5.18不同卷积后图像大小计算? 198 + 5.18.1 类型划分 198 + 5.18.2 计算公式 199 + 5.19 步长、填充大小与输入输出关系总结? 199 + 5.19.1没有0填充,单位步长 200 + 5.19.2零填充,单位步长 200 + 5.19.3不填充,非单位步长 202 + 5.19.4零填充,非单位步长 202 + 5.20 理解反卷积和棋盘效应 204 + 5.20.1为什么出现棋盘现象? 204 + 5.20.2 有哪些方法可以避免棋盘效应? 205 + 5.21 CNN主要的计算瓶颈? 207 + 5.22 CNN的参数经验设置 207 + 5.23 提高泛化能力的方法总结 208 + 5.23.1 主要方法 208 + 5.23.2 实验证明 208 + 5.24 CNN在CV与NLP领域运用的联系与区别? 213 + 5.24.1联系 213 + 5.24.2区别 213 + 5.25 CNN凸显共性的手段? 213 + 5.25.1 局部连接 213 + 5.25.2 权值共享 214 + 5.25.3 池化操作 215 + 5.26 全卷积与Local-Conv的异同点 215 + 5.27 举例理解Local-Conv的作用 215 + 5.28 简述卷积神经网络进化史 216 第六章 循环神经网络(RNN) 218 + 6.1 RNNs和FNNs有什么区别? 218 + 6.2 RNNs典型特点? 218 + 6.3 RNNs能干什么? 219 + 6.4 RNNs在NLP中典型应用? 220 + 6.5 RNNs训练和传统ANN训练异同点? 220 + 6.6常见的RNNs扩展和改进模型 221 + 6.6.1 Simple RNNs(SRNs) 221 + 6.6.2 Bidirectional RNNs 221 + 6.6.3 Deep(Bidirectional) RNNs 222 + 6.6.4 Echo State Networks(ESNs) 222 + 6.6.5 Gated Recurrent Unit Recurrent Neural Networks 224 + 6.6.6 LSTM Netwoorks 224 + 6.6.7 Clockwork RNNs(CW-RNNs) 225 第七章 目标检测 228 + 7.1基于候选区域的目标检测器 228 + 7.1.1滑动窗口检测器 228 + 7.1.2选择性搜索 229 + 7.1.3 R-CNN 230 + 7.1.4边界框回归器 230 + 7.1.5 Fast R-CNN 231 + 7.1.6 ROI 池化 233 + 7.1.7 Faster R-CNN 233 + 7.1.8候选区域网络 234 + 7.1.9 R-CNN 方法的性能 236 + 7.2 基于区域的全卷积神经网络(R-FCN) 237 + 7.3 单次目标检测器 240 + 7.3.1单次检测器 241 + 7.3.2滑动窗口进行预测 241 + 7.3.3 SSD 243 + 7.4 YOLO系列 244 + 7.4.1 YOLOv1介绍 244 + 7.4.2 YOLOv1模型优缺点? 252 + 7.4.3 YOLOv2 253 + 7.4.4 YOLOv2改进策略 254 + 7.4.5 YOLOv2的训练 261 + 7.4.6 YOLO9000 261 + 7.4.7 YOLOv3 263 + 7.4.8 YOLOv3改进 264 第八章 图像分割 269 + 8.1 传统的基于CNN的分割方法缺点? 269 + 8.1 FCN 269 + 8.1.1 FCN改变了什么? 269 + 8.1.2 FCN网络结构? 270 + 8.1.3全卷积网络举例? 271 + 8.1.4为什么CNN对像素级别的分类很难? 271 + 8.1.5全连接层和卷积层如何相互转化? 272 + 8.1.6 FCN的输入图片为什么可以是任意大小? 272 + 8.1.7把全连接层的权重W重塑成卷积层的滤波器有什么好处? 273 + 8.1.8反卷积层理解 275 + 8.1.9跳级(skip)结构 276 + 8.1.10模型训练 277 + 8.1.11 FCN缺点 280 + 8.2 U-Net 280 + 8.3 SegNet 282 + 8.4空洞卷积(Dilated Convolutions) 283 + 8.4 RefineNet 285 + 8.5 PSPNet 286 + 8.6 DeepLab系列 288 + 8.6.1 DeepLabv1 288 + 8.6.2 DeepLabv2 289 + 8.6.3 DeepLabv3 289 + 8.6.4 DeepLabv3+ 290 + 8.7 Mask-R-CNN 293 + 8.7.1 Mask-RCNN 的网络结构示意图 293 + 8.7.2 RCNN行人检测框架 293 + 8.7.3 Mask-RCNN 技术要点 294 + 8.8 CNN在基于弱监督学习的图像分割中的应用 295 + 8.8.1 Scribble标记 295 + 8.8.2 图像级别标记 297 + 8.8.3 DeepLab+bounding box+image-level labels 298 + 8.8.4统一的框架 299 第九章 强化学习 301 + 9.1强化学习的主要特点? 301 + 9.2强化学习应用实例 302 + 9.3强化学习和监督式学习、非监督式学习的区别 303 + 9.4 强化学习主要有哪些算法? 305 + 9.5深度迁移强化学习算法 305 + 9.6分层深度强化学习算法 306 + 9.7深度记忆强化学习算法 306 + 9.8 多智能体深度强化学习算法 307 + 9.9深度强化学习算法小结 307 第十章 迁移学习 309 + 10.1 什么是迁移学习? 309 + 10.2 什么是多任务学习? 309 + 10.3 多任务学习有什么意义? 309 + 10.4 什么是端到端的深度学习? 311 + 10.5 端到端的深度学习举例? 311 + 10.6 端到端的深度学习有什么挑战? 311 + 10.7 端到端的深度学习优缺点? 312 第十三章 优化算法 314 + 13.1 CPU和GPU 的区别? 314 + 13.2如何解决训练样本少的问题 315 + 13.3 什么样的样本集不适合用深度学习? 315 + 13.4 有没有可能找到比已知算法更好的算法? 316 + 13.5 何为共线性, 跟过拟合有啥关联? 316 + 13.6 广义线性模型是怎被应用在深度学习中? 316 + 13.7 造成梯度消失的原因? 317 + 13.8 权值初始化方法有哪些 317 + 13.9 启发式优化算法中,如何避免陷入局部最优解? 318 + 13.10 凸优化中如何改进GD方法以防止陷入局部最优解 319 + 13.11 常见的损失函数? 319 + 13.14 如何进行特征选择(feature selection)? 321 + 13.14.1 如何考虑特征选择 321 + 13.14.2 特征选择方法分类 321 + 13.14.3 特征选择目的 322 + 13.15 梯度消失/梯度爆炸原因,以及解决方法 322 + 13.15.1 为什么要使用梯度更新规则? 322 + 13.15.2 梯度消失、爆炸原因? 323 + 13.15.3 梯度消失、爆炸的解决方案 324 + 13.16 深度学习为什么不用二阶优化 325 + 13.17 怎样优化你的深度学习系统? 326 + 13.18为什么要设置单一数字评估指标? 326 + 13.19满足和优化指标(Satisficing and optimizing metrics) 327 + 13.20 怎样划分训练/开发/测试集 328 + 13.21如何划分开发/测试集大小 329 + 13.22什么时候该改变开发/测试集和指标? 329 + 13.23 设置评估指标的意义? 330 + 13.24 什么是可避免偏差? 331 + 13.25 什么是TOP5错误率? 331 + 13.26 什么是人类水平错误率? 332 + 13.27 可避免偏差、几大错误率之间的关系? 332 + 13.28 怎样选取可避免偏差及贝叶斯错误率? 332 + 13.29 怎样减少方差? 333 + 13.30贝叶斯错误率的最佳估计 333 + 13.31举机器学习超过单个人类表现几个例子? 334 + 13.32如何改善你的模型? 334 + 13.33 理解误差分析 335 + 13.34 为什么值得花时间查看错误标记数据? 336 + 13.35 快速搭建初始系统的意义? 336 + 13.36 为什么要在不同的划分上训练及测试? 337 + 13.37 如何解决数据不匹配问题? 338 + 13.38 梯度检验注意事项? 340 + 13.39什么是随机梯度下降? 341 + 13.40什么是批量梯度下降? 341 + 13.41什么是小批量梯度下降? 341 + 13.42怎么配置mini-batch梯度下降 342 + 13.43 局部最优的问题 343 + 13.44提升算法性能思路 346 第十四章 超参数调整 358 + 14.1 调试处理 358 + 14.2 有哪些超参数 359 + 14.3 如何选择调试值? 359 + 14.4 为超参数选择合适的范围 359 + 14.5 如何搜索超参数? 359 第十五章 正则化 361 + 15.1 什么是正则化? 361 + 15.2 正则化原理? 361 + 15.3 为什么要正则化? 361 + 15.4 为什么正则化有利于预防过拟合? 361 + 15.5 为什么正则化可以减少方差? 362 + 15.6 L2正则化的理解? 362 + 15.7 理解dropout 正则化 362 + 15.8 有哪些dropout 正则化方法? 362 + 15.8 如何实施dropout 正则化 363 + 15.9 Python 实现dropout 正则化 363 + 15.10 L2正则化和dropout 有什么不同? 363 + 15.11 dropout有什么缺点? 363 + 15.12 其他正则化方法? 364 参考文献 366