Merge pull request #137 from xiyanxiyan10/master

更新了Readme的排版,更便于阅读.
This commit is contained in:
scutan90 2018-11-05 19:10:00 +08:00 committed by GitHub
commit 69dd867ec4
No known key found for this signature in database
GPG Key ID: 4AEE18F83AFDEB23
1 changed files with 274 additions and 223 deletions

201
README.md
View File

@ -1,72 +1,18 @@
############################################################## # 1. 版权声明
请尊重作者的知识产权,版权所有,翻版必究。 2018.6.27 Tan 请尊重作者的知识产权,版权所有,翻版必究。
## scutjy2015@163.com (唯一官方邮箱)
## `注意;现出现不法分子冒充发起人,请广大伙伴儿知悉!`
##############################################################
## 接下来将提供MD版本大家一起编辑完善敬请期待 请大家一起维护自己的劳动成果,进行监督。
## 希望踊跃提建议,补充修改内容!
## 希望踊跃提建议在已提交MD版本补充修改内容
为了让内容更充实完善集思广益请在修改MD文件的同时或直接留言备注自己的姓名单位大佬斯坦福大学一经采纳会在原文中显示贡献者的信息如有收益会进一步分红谢谢
例:
### 3.3.2 如何寻找超参数的最优值?(贡献者:大佬-斯坦福大学)
在使用机器学习算法时,总有一些难搞的超参数。例如权重衰减大小,高斯核宽度等等。算法不会设置这些参数,而是需要你去设置它们的值。设置的值对结果产生较大影响。常见设置超参数的做法有: 2018.6.27 Tan
1. 猜测和检查:根据经验或直觉,选择参数,一直迭代。 # 2. 概述
2. 网格搜索:让计算机尝试在一定范围内均匀分布的一组值。
3. 随机搜索:让计算机随机挑选一组值。
4. 贝叶斯优化:使用贝叶斯优化超参数,会遇到贝叶斯优化算法本身就需要很多的参数的困难。
5. 在良好初始猜测的前提下进行局部优化:这就是 MITIE 的方法,它使用 BOBYQA 算法,并有一个精心选择的起始点。由于 BOBYQA 只寻找最近的局部最优解,所以这个方法是否成功很大程度上取决于是否有一个好的起点。在 MITIE 的情况下,我们知道一个好的起点,但这不是一个普遍的解决方案,因为通常你不会知道好的起点在哪里。从好的方面来说,这种方法非常适合寻找局部最优解。稍后我会再讨论这一点。
6. 最新提出的 LIPO 的全局优化方法。这个方法没有参数,而且经验证比随机搜索方法好。
### 已提交MD版本章节请查看MarkDown排名不分先后 本项目是大家对AI的相关知识进行整合集思广益, 以便形成 内容充实,覆盖全面的文集。
待定:表示该章节还未匹配到合适的负责人(统筹该章节的内容修改、审核、原创性陈述)
可加:表示该章节,如果有其他合适的,可以开放权限加到负责人身份
# 3. 目录
第一章 数学基础 负责人:哈工大博士-袁笛 **第一章 数学基础 1**
第二章 机器学习基础 负责人:稿定科技计算机视觉工程师-刘鹏;(待定)
第三章 深度学习基础 负责人:同济大学研究生-乔成磊;稿定科技计算机视觉工程师-刘鹏;(可加)
第四章 经典网络 负责人:华南理工研究生-黄钦建;(可加)
第五章 卷积神经网络CNN 负责人杜克大学硕士、data scientist李骁丹重庆大学研究生-刘畅;铪星创新科技联合创始人-杨文英;(可加)
第六章 循环神经网络RNN 负责人杜克大学硕士、data scientist李骁丹;(可加)
第七章 生成对抗网络GAN 负责人:牛津大学博士泽华;中科院硕士、爱奇艺算法工程师-郭晓锋;
第八章 目标检测 负责人:稿定科技计算机视觉工程师-刘鹏;哈工大博士袁笛;上海大学研究生-陈方杰
第九章 图像分割 负责人:华南理工研究生-黄钦建;电子科大研究生-孙洪卫、张越;中国农业科学院-杨国峰
第十章 强化学习 负责人复旦大学研究生明杰杭州启飞CTO-徐武民;(可加)
第十一章 迁移学习 负责人:中科院计算技术研究所博士-王晋东;(可加)
第十二章 网络搭建及训练 负责人:(待定)
第十三章 优化算法 负责人杭州启飞CTO-徐武民;(可加)
第十四章 超参数调整 负责人:中兴通讯有限公司算法工程师-王超锋;(可加)
第十五章 GPU和框架选型 负责人澳洲monash大学Research Scientist/Telstra(澳洲电信)Data Scientist-钟申俊博士;
---------------------平安科技算法工程师-崔永明、(可加)
第十六章 自然语言处理NLP 负责人:电子科技大学博士-盛泳潘深圳乌灵图明科技有限公司CTO-何建宏;DaoCloud研发工程师-张善干;    
---------------------澳洲monash大学Research Scientist/Telstra(澳洲电信)Data Scientist-钟申俊博士;
---------------------华南理工大学&UCI博士-黄振华
第十七章 移动端框架部署(新增) 负责人:川大硕士-顺丰科技-谈继勇;贵州大学硕士-三星-张达峰(可加)
寻求有愿意继续完善的朋友、编辑、写手;如有意合作,完善出书(成为共同作者)
所有提交内容的贡献者,将会在文中体现贡献者个人信息(大佬-西湖大学)
##############################################################
请联系scutjy2015@163.com (唯一官方邮箱) 加微信Tan tan_weixin88
### 进群先在MD版本增加、改善、提交内容后更容易进群。
进群请加微信 委托人HQJ199508212176  委托人Xuwumin1203  委托人tianyuzy
微信交流群《深度学习500问》交流群
![《深度学习500问》交流群二维码](/WechatIMG3.jpeg)
2018.10.23 Tan
##############################################################
# 目录 2
## 第一章 数学基础 1
1.1 标量、向量、张量之间的联系 1 1.1 标量、向量、张量之间的联系 1
1.2 张量与矩阵的区别? 1 1.2 张量与矩阵的区别? 1
1.3 矩阵和向量相乘结果 1 1.3 矩阵和向量相乘结果 1
@ -84,7 +30,9 @@
1.15 条件概率的链式法则 10 1.15 条件概率的链式法则 10
1.16 独立性和条件独立性 11 1.16 独立性和条件独立性 11
1.17 期望、方差、协方差、相关系数总结 11 1.17 期望、方差、协方差、相关系数总结 11
## 第二章 机器学习基础 14
**第二章 机器学习基础 14**
2.1 各种常见算法图示 14 2.1 各种常见算法图示 14
2.2 监督学习、非监督学习、半监督学习、弱监督学习? 15 2.2 监督学习、非监督学习、半监督学习、弱监督学习? 15
2.3 监督学习有哪些步骤 16 2.3 监督学习有哪些步骤 16
@ -185,7 +133,9 @@
2.30 聚类和降维有什么区别与联系? 82 2.30 聚类和降维有什么区别与联系? 82
2.31 GBDT和随机森林的区别 83 2.31 GBDT和随机森林的区别 83
2.32 四种聚类方法之比较 84 2.32 四种聚类方法之比较 84
## 第三章 深度学习基础 88
**第三章 深度学习基础 88**
3.1 基本概念 88 3.1 基本概念 88
3.1.1 神经网络组成? 88 3.1.1 神经网络组成? 88
3.1.2 神经网络有哪些常用模型结构? 90 3.1.2 神经网络有哪些常用模型结构? 90
@ -252,7 +202,9 @@
3.12 Dropout 系列问题 128 3.12 Dropout 系列问题 128
3.12.1 dropout率的选择 128 3.12.1 dropout率的选择 128
3.27 Padding 系列问题 128 3.27 Padding 系列问题 128
## 第四章 经典网络 129
**第四章 经典网络 129**
4.1 LetNet5 129 4.1 LetNet5 129
4.1.1 模型结构 129 4.1.1 模型结构 129
4.1.2 模型结构 129 4.1.2 模型结构 129
@ -292,7 +244,9 @@
4.8.7 ResNet作为小型网络的组合 165 4.8.7 ResNet作为小型网络的组合 165
4.8.8 ResNet中路径的特点 166 4.8.8 ResNet中路径的特点 166
4.9 为什么现在的CNN模型都是在GoogleNet、VGGNet或者AlexNet上调整的 167 4.9 为什么现在的CNN模型都是在GoogleNet、VGGNet或者AlexNet上调整的 167
## 第五章 卷积神经网络(CNN) 170
**第五章 卷积神经网络(CNN) 170**
5.1 卷积神经网络的组成层 170 5.1 卷积神经网络的组成层 170
5.2 卷积如何检测边缘信息? 171 5.2 卷积如何检测边缘信息? 171
5.2 卷积的几个基本定义? 174 5.2 卷积的几个基本定义? 174
@ -355,7 +309,9 @@
5.26 全卷积与Local-Conv的异同点 215 5.26 全卷积与Local-Conv的异同点 215
5.27 举例理解Local-Conv的作用 215 5.27 举例理解Local-Conv的作用 215
5.28 简述卷积神经网络进化史 216 5.28 简述卷积神经网络进化史 216
## 第六章 循环神经网络(RNN) 218
**第六章 循环神经网络(RNN) 218**
6.1 RNNs和FNNs有什么区别 218 6.1 RNNs和FNNs有什么区别 218
6.2 RNNs典型特点 218 6.2 RNNs典型特点 218
6.3 RNNs能干什么 219 6.3 RNNs能干什么 219
@ -369,7 +325,9 @@
6.6.5 Gated Recurrent Unit Recurrent Neural Networks 224 6.6.5 Gated Recurrent Unit Recurrent Neural Networks 224
6.6.6 LSTM Netwoorks 224 6.6.6 LSTM Netwoorks 224
6.6.7 Clockwork RNNs(CW-RNNs) 225 6.6.7 Clockwork RNNs(CW-RNNs) 225
## 第七章 目标检测 228
**第七章 目标检测 228**
7.1 基于候选区域的目标检测器 228 7.1 基于候选区域的目标检测器 228
7.1.1 滑动窗口检测器 228 7.1.1 滑动窗口检测器 228
7.1.2 选择性搜索 229 7.1.2 选择性搜索 229
@ -394,7 +352,9 @@
7.4.6 YOLO9000 261 7.4.6 YOLO9000 261
7.4.7 YOLOv3 263 7.4.7 YOLOv3 263
7.4.8 YOLOv3改进 264 7.4.8 YOLOv3改进 264
## 第八章 图像分割 269
**第八章 图像分割 269**
8.1 传统的基于CNN的分割方法缺点 269 8.1 传统的基于CNN的分割方法缺点 269
8.1 FCN 269 8.1 FCN 269
8.1.1 FCN改变了什么? 269 8.1.1 FCN改变了什么? 269
@ -427,7 +387,9 @@
8.8.2 图像级别标记 297 8.8.2 图像级别标记 297
8.8.3 DeepLab+bounding box+image-level labels 298 8.8.3 DeepLab+bounding box+image-level labels 298
8.8.4 统一的框架 299 8.8.4 统一的框架 299
## 第九章 强化学习 301
**第九章 强化学习 301**
9.1 强化学习的主要特点? 301 9.1 强化学习的主要特点? 301
9.2 强化学习应用实例 302 9.2 强化学习应用实例 302
9.3 强化学习和监督式学习、非监督式学习的区别 303 9.3 强化学习和监督式学习、非监督式学习的区别 303
@ -437,7 +399,9 @@
9.7 深度记忆强化学习算法 306 9.7 深度记忆强化学习算法 306
9.8 多智能体深度强化学习算法 307 9.8 多智能体深度强化学习算法 307
9.9 深度强化学习算法小结 307 9.9 深度强化学习算法小结 307
## 第十章 迁移学习 309
**第十章 迁移学习 309**
10.1 什么是迁移学习? 309 10.1 什么是迁移学习? 309
10.2 什么是多任务学习? 309 10.2 什么是多任务学习? 309
10.3 多任务学习有什么意义? 309 10.3 多任务学习有什么意义? 309
@ -445,7 +409,9 @@
10.5 端到端的深度学习举例? 311 10.5 端到端的深度学习举例? 311
10.6 端到端的深度学习有什么挑战? 311 10.6 端到端的深度学习有什么挑战? 311
10.7 端到端的深度学习优缺点? 312 10.7 端到端的深度学习优缺点? 312
## 第十三章 优化算法 314
**第十三章 优化算法 314**
13.1 CPU和GPU 的区别? 314 13.1 CPU和GPU 的区别? 314
13.2 如何解决训练样本少的问题 315 13.2 如何解决训练样本少的问题 315
13.3 什么样的样本集不适合用深度学习? 315 13.3 什么样的样本集不适合用深度学习? 315
@ -494,13 +460,18 @@
13.42 怎么配置mini-batch梯度下降 342 13.42 怎么配置mini-batch梯度下降 342
13.43 局部最优的问题 343 13.43 局部最优的问题 343
13.44 提升算法性能思路 346 13.44 提升算法性能思路 346
## 第十四章 超参数调整 358
**第十四章 超参数调整 358**
14.1 调试处理 358 14.1 调试处理 358
14.2 有哪些超参数 359 14.2 有哪些超参数 359
14.3 如何选择调试值? 359 14.3 如何选择调试值? 359
14.4 为超参数选择合适的范围 359 14.4 为超参数选择合适的范围 359
14.5 如何搜索超参数? 359 14.5 如何搜索超参数? 359
## 第十五章 异构计算, GPU和框架选型指南 361
**第十五章 异构计算, GPU和框架选型指南 361**
15.1 什么是异构计算? 361 15.1 什么是异构计算? 361
15.2 什么是GPGPU 361 15.2 什么是GPGPU 361
15.3 GPU架构简介 361 15.3 GPU架构简介 361
@ -531,7 +502,87 @@
15.8.5 TPU和GPU的区别 15.8.5 TPU和GPU的区别
15.8.6 未来量子计算对于深度学习等AI技术的影像 15.8.6 未来量子计算对于深度学习等AI技术的影像
**参考文献 366**
## 参考文献 366
hey you are looked like a cool developer. hey you are looked like a cool developer.
Translate it in english. Translate it in english.
# 4. 加入以及文档规范
寻求有愿意继续完善的朋友、编辑、写手;如有意合作,完善出书(成为共同作者)。
所有提交内容的贡献者,将会在文中体现贡献者个人信息(例: 大佬-西湖大学)
为了让内容更充实完善集思广益欢迎Fork该项目并参与编写。请在修改MD文件的同时或直接留言备注自己的姓名单位大佬斯坦福大学一经采纳会在原文中显示贡献者的信息如有收益会进一步分红谢谢
例子:
```markdown
### 3.3.2 如何寻找超参数的最优值?(贡献者:大佬-斯坦福大学)
在使用机器学习算法时,总有一些难搞的超参数。例如权重衰减大小,高斯核宽度等等。算法不
会设置这些参数,而是需要你去设置它们的值。设置的值对结果产生较大影响。常见设置超参数
的做法有:
1. 猜测和检查:根据经验或直觉,选择参数,一直迭代。
2. 网格搜索:让计算机尝试在一定范围内均匀分布的一组值。
3. 随机搜索:让计算机随机挑选一组值。
4. 贝叶斯优化:使用贝叶斯优化超参数,会遇到贝叶斯优化算法本身就需要很多的参数的
困难。
5. 在良好初始猜测的前提下进行局部优化:这就是 MITIE 的方法,它使用 BOBYQA 算
法,并有一个精心选择的起始点。由于 BOBYQA 只寻找最近的局部最优解,所以这个方法
是否成功很大程度上取决于是否有一个好的起点。在 MITIE 的情况下,我们知道一个好的
起点,但这不是一个普遍的解决方案,因为通常你不会知道好的起点在哪里。从好的方面来
说,这种方法非常适合寻找局部最优解。稍后我会再讨论这一点。
6. 最新提出的 LIPO 的全局优化方法。这个方法没有参数,而且经验证比随机搜索方法好。
```
# 5. 贡献与项目概览
已提交MD版本章节请查看MarkDown排名不分先后
待定:表示该章节还未匹配到合适的负责人(统筹该章节的内容修改、审核、原创性陈述)
可加:表示该章节,如果有其他合适的,可以开放权限加到负责人身份
| 内容 | 负责人 | 状态|
| ---------------- | :-------- | :--------|
|第一章 数学基础|哈工大博士-袁笛| 待定 |
|第二章 机器学习基础|稿定科技计算机视觉工程师-刘鹏|待定|
|第三章 深度学习基础|同济大学研究生-乔成磊;稿定科技计算机视觉工程师-刘鹏|可加|
|第四章 经典网络|华南理工研究生-黄钦建|可加|
|第五章 卷积神经网络CNN |杜克大学硕士、data scientist李骁丹重庆大学研究生-刘畅;铪星创新科技联合创始人-杨文英;|可加|
|第六章 循环神经网络RNN|杜克大学硕士、data scientist李骁丹|可加|
|第七章 生成对抗网络GAN|牛津大学博士泽华;中科院硕士、爱奇艺算法工程师-郭晓锋;||
|第八章 目标检测|稿定科技计算机视觉工程师-刘鹏;哈工大博士袁笛;上海大学研究生-陈方杰||
|第九章 图像分割|华南理工研究生-黄钦建;电子科大研究生-孙洪卫、张越;中国农业科学院-杨国峰||
|第十章 强化学习|复旦大学研究生明杰杭州启飞CTO-徐武民|可加|
|第十一章 迁移学习|中科院计算技术研究所博士-王晋东|可加|
|第十二章 网络搭建及训练| |待定|
|第十三章 优化算法|杭州启飞CTO-徐武民|可加|
|第十四章 超参数调整|中兴通讯有限公司算法工程师-王超锋|可加|
|第十五章 GPU和框架选型|澳洲monash大学Research Scientist/Telstra(澳洲电信)Data Scientist-钟申俊博士;平安科技算法工程师-崔永明|可加|
|第十六章 自然语言处理NLP|电子科技大学博士-盛泳潘深圳乌灵图明科技有限公司CTO-何建宏;DaoCloud研发工程师-张善干澳洲monash大学Research Scientist/Telstra(澳洲电信)Data Scientist-钟申俊博士;华南理工大学&UCI博士-黄振华||
|第十七章 移动端框架部署(新增)|川大硕士-顺丰科技-谈继勇;贵州大学硕士-三星-张达峰|可加|
# 6. 更多
1. 寻求有愿意继续完善的朋友、编辑、写手; 如有意合作,完善出书(成为共同作者)。
所有提交内容的贡献者,将会在文中体现贡献者个人信息(大佬-西湖大学)。
2. 联系方式 : 请联系scutjy2015@163.com (唯一官方邮箱) 
微信Tan tan_weixin88(进群先在MD版本增加、改善、提交内容后更容易进群。)
进群请加微信 委托人HQJ199508212176  委托人Xuwumin1203  委托人tianyuzy
![《深度学习500问》微信交流群二维码](/WechatIMG3.jpeg)
3. 注意, 现出现不法分子冒充发起人,请广大伙伴儿知悉!
4. 接下来将提供MD版本大家一起编辑完善敬请期待希望踊跃提建议补充修改内容