scutan90
GitHub
commit
69dd867ec4
201
README.md
201
README.md
|
|
@ -1,72 +1,18 @@
|
|||
##############################################################
|
||||
请尊重作者的知识产权，版权所有，翻版必究。 2018.6.27 Tan
|
||||
## scutjy2015@163.com (唯一官方邮箱)
|
||||
## `注意；现出现不法分子冒充发起人，请广大伙伴儿知悉！`
|
||||
##############################################################
|
||||
# 1. 版权声明
|
||||
请尊重作者的知识产权，版权所有，翻版必究。
|
||||
|
||||
## 接下来，将提供MD版本，大家一起编辑完善，敬请期待！
|
||||
## 希望踊跃提建议，补充修改内容！
|
||||
## 希望踊跃提建议，在已提交MD版本补充修改内容！
|
||||
为了让内容更充实完善，集思广益，请在修改MD文件的同时（或直接留言）备注自己的姓名－单位（大佬－斯坦福大学），一经采纳，会在原文中显示贡献者的信息，如有收益，会进一步分红，谢谢！
|
||||
例：
|
||||
### 3.3.2 如何寻找超参数的最优值？（贡献者：大佬－斯坦福大学）
|
||||
请大家一起维护自己的劳动成果，进行监督。
|
||||
|
||||
在使用机器学习算法时，总有一些难搞的超参数。例如权重衰减大小，高斯核宽度等等。算法不会设置这些参数，而是需要你去设置它们的值。设置的值对结果产生较大影响。常见设置超参数的做法有：
|
||||
2018.6.27 Tan
|
||||
|
||||
1. 猜测和检查：根据经验或直觉，选择参数，一直迭代。
|
||||
2. 网格搜索：让计算机尝试在一定范围内均匀分布的一组值。
|
||||
3. 随机搜索：让计算机随机挑选一组值。
|
||||
4. 贝叶斯优化：使用贝叶斯优化超参数，会遇到贝叶斯优化算法本身就需要很多的参数的困难。
|
||||
5. 在良好初始猜测的前提下进行局部优化：这就是 MITIE 的方法，它使用 BOBYQA 算法，并有一个精心选择的起始点。由于 BOBYQA 只寻找最近的局部最优解，所以这个方法是否成功很大程度上取决于是否有一个好的起点。在 MITIE 的情况下，我们知道一个好的起点，但这不是一个普遍的解决方案，因为通常你不会知道好的起点在哪里。从好的方面来说，这种方法非常适合寻找局部最优解。稍后我会再讨论这一点。
|
||||
6. 最新提出的 LIPO 的全局优化方法。这个方法没有参数，而且经验证比随机搜索方法好。
|
||||
# 2. 概述
|
||||
|
||||
### 已提交MD版本章节：请查看MarkDown（排名不分先后）
|
||||
待定：表示该章节还未匹配到合适的负责人（统筹该章节的内容修改、审核、原创性陈述）
|
||||
可加：表示该章节，如果有其他合适的，可以开放权限加到负责人身份
|
||||
本项目是大家对AI的相关知识进行整合，集思广益, 以便形成 内容充实，覆盖全面的文集。
|
||||
|
||||
# 3. 目录
|
||||
|
||||
第一章 数学基础 负责人：哈工大博士-袁笛
|
||||
第二章 机器学习基础 负责人：稿定科技计算机视觉工程师-刘鹏；（待定）
|
||||
第三章 深度学习基础 负责人：同济大学研究生-乔成磊；稿定科技计算机视觉工程师-刘鹏；（可加）
|
||||
第四章 经典网络 负责人：华南理工研究生-黄钦建；（可加）
|
||||
第五章 卷积神经网络CNN 负责人：杜克大学硕士、data scientist李骁丹；重庆大学研究生-刘畅；铪星创新科技联合创始人-杨文英；（可加）
|
||||
第六章 循环神经网络RNN 负责人：杜克大学硕士、data scientist李骁丹;（可加）
|
||||
第七章 生成对抗网络GAN 负责人：牛津大学博士泽华；中科院硕士、爱奇艺算法工程师-郭晓锋；
|
||||
第八章 目标检测 负责人：稿定科技计算机视觉工程师-刘鹏；哈工大博士袁笛；上海大学研究生-陈方杰
|
||||
第九章 图像分割 负责人：华南理工研究生-黄钦建；电子科大研究生-孙洪卫、张越；中国农业科学院-杨国峰
|
||||
第十章 强化学习 负责人：复旦大学研究生明杰，杭州启飞CTO-徐武民；（可加）
|
||||
第十一章 迁移学习 负责人：中科院计算技术研究所博士－王晋东；（可加）
|
||||
第十二章 网络搭建及训练 负责人：（待定）
|
||||
第十三章 优化算法 负责人：杭州启飞CTO-徐武民；（可加）
|
||||
第十四章 超参数调整 负责人：中兴通讯有限公司算法工程师－王超锋;（可加）
|
||||
第十五章 GPU和框架选型 负责人：澳洲monash大学Research Scientist/Telstra(澳洲电信)Data Scientist-钟申俊博士；
|
||||
---------------------平安科技算法工程师-崔永明、（可加）
|
||||
第十六章 自然语言处理NLP 负责人：电子科技大学博士-盛泳潘；深圳乌灵图明科技有限公司CTO-何建宏;DaoCloud研发工程师-张善干；
|
||||
---------------------澳洲monash大学Research Scientist/Telstra(澳洲电信)Data Scientist-钟申俊博士；
|
||||
---------------------华南理工大学&UCI博士-黄振华
|
||||
第十七章 移动端框架部署（新增） 负责人：川大硕士-顺丰科技-谈继勇；贵州大学硕士-三星-张达峰（可加）
|
||||
**第一章 数学基础 1**
|
||||
|
||||
|
||||
|
||||
寻求有愿意继续完善的朋友、编辑、写手；如有意合作，完善出书（成为共同作者）
|
||||
所有提交内容的贡献者，将会在文中体现贡献者个人信息（大佬-西湖大学）
|
||||
|
||||
##############################################################
|
||||
|
||||
请联系scutjy2015@163.com (唯一官方邮箱)； 加微信Tan： tan_weixin88
|
||||
|
||||
### 进群先在MD版本增加、改善、提交内容后，更容易进群。
|
||||
|
||||
进群请加微信 委托人１：HQJ199508212176 委托人２：Xuwumin1203 委托人３：tianyuzy
|
||||
|
||||
微信交流群：《深度学习500问》交流群
|
||||
|
||||
2018.10.23 Tan
|
||||
|
||||
##############################################################
|
||||
|
||||
# 目录 2
|
||||
## 第一章 数学基础 1
|
||||
1.1 标量、向量、张量之间的联系 1
|
||||
1.2 张量与矩阵的区别？ 1
|
||||
1.3 矩阵和向量相乘结果 1
|
||||
|
|
@ -84,7 +30,9 @@
|
|||
1.15 条件概率的链式法则 10
|
||||
1.16 独立性和条件独立性 11
|
||||
1.17 期望、方差、协方差、相关系数总结 11
|
||||
## 第二章 机器学习基础 14
|
||||
|
||||
**第二章 机器学习基础 14**
|
||||
|
||||
2.1 各种常见算法图示 14
|
||||
2.2 监督学习、非监督学习、半监督学习、弱监督学习？ 15
|
||||
2.3 监督学习有哪些步骤 16
|
||||
|
|
@ -185,7 +133,9 @@
|
|||
2.30 聚类和降维有什么区别与联系？ 82
|
||||
2.31 GBDT和随机森林的区别 83
|
||||
2.32 四种聚类方法之比较 84
|
||||
## 第三章 深度学习基础 88
|
||||
|
||||
**第三章 深度学习基础 88**
|
||||
|
||||
3.1 基本概念 88
|
||||
3.1.1 神经网络组成？ 88
|
||||
3.1.2 神经网络有哪些常用模型结构？ 90
|
||||
|
|
@ -252,7 +202,9 @@
|
|||
3.12 Dropout 系列问题 128
|
||||
3.12.1 dropout率的选择 128
|
||||
3.27 Padding 系列问题 128
|
||||
## 第四章 经典网络 129
|
||||
|
||||
**第四章 经典网络 129**
|
||||
|
||||
4.1 LetNet5 129
|
||||
4.1.1 模型结构 129
|
||||
4.1.2 模型结构 129
|
||||
|
|
@ -292,7 +244,9 @@
|
|||
4.8.7 ResNet作为小型网络的组合 165
|
||||
4.8.8 ResNet中路径的特点 166
|
||||
4.9 为什么现在的CNN模型都是在GoogleNet、VGGNet或者AlexNet上调整的？ 167
|
||||
## 第五章 卷积神经网络(CNN) 170
|
||||
|
||||
**第五章 卷积神经网络(CNN) 170**
|
||||
|
||||
5.1 卷积神经网络的组成层 170
|
||||
5.2 卷积如何检测边缘信息？ 171
|
||||
5.2 卷积的几个基本定义？ 174
|
||||
|
|
@ -355,7 +309,9 @@
|
|||
5.26 全卷积与Local-Conv的异同点 215
|
||||
5.27 举例理解Local-Conv的作用 215
|
||||
5.28 简述卷积神经网络进化史 216
|
||||
## 第六章 循环神经网络(RNN) 218
|
||||
|
||||
**第六章 循环神经网络(RNN) 218**
|
||||
|
||||
6.1 RNNs和FNNs有什么区别？ 218
|
||||
6.2 RNNs典型特点？ 218
|
||||
6.3 RNNs能干什么？ 219
|
||||
|
|
@ -369,7 +325,9 @@
|
|||
6.6.5 Gated Recurrent Unit Recurrent Neural Networks 224
|
||||
6.6.6 LSTM Netwoorks 224
|
||||
6.6.7 Clockwork RNNs(CW-RNNs) 225
|
||||
## 第七章 目标检测 228
|
||||
|
||||
**第七章 目标检测 228**
|
||||
|
||||
7.1 基于候选区域的目标检测器 228
|
||||
7.1.1 滑动窗口检测器 228
|
||||
7.1.2 选择性搜索 229
|
||||
|
|
@ -394,7 +352,9 @@
|
|||
7.4.6 YOLO9000 261
|
||||
7.4.7 YOLOv3 263
|
||||
7.4.8 YOLOv3改进 264
|
||||
## 第八章 图像分割 269
|
||||
|
||||
**第八章 图像分割 269**
|
||||
|
||||
8.1 传统的基于CNN的分割方法缺点？ 269
|
||||
8.1 FCN 269
|
||||
8.1.1 FCN改变了什么? 269
|
||||
|
|
@ -427,7 +387,9 @@
|
|||
8.8.2 图像级别标记 297
|
||||
8.8.3 DeepLab+bounding box+image-level labels 298
|
||||
8.8.4 统一的框架 299
|
||||
## 第九章 强化学习 301
|
||||
|
||||
**第九章 强化学习 301**
|
||||
|
||||
9.1 强化学习的主要特点？ 301
|
||||
9.2 强化学习应用实例 302
|
||||
9.3 强化学习和监督式学习、非监督式学习的区别 303
|
||||
|
|
@ -437,7 +399,9 @@
|
|||
9.7 深度记忆强化学习算法 306
|
||||
9.8 多智能体深度强化学习算法 307
|
||||
9.9 深度强化学习算法小结 307
|
||||
## 第十章 迁移学习 309
|
||||
|
||||
**第十章 迁移学习 309**
|
||||
|
||||
10.1 什么是迁移学习？ 309
|
||||
10.2 什么是多任务学习？ 309
|
||||
10.3 多任务学习有什么意义？ 309
|
||||
|
|
@ -445,7 +409,9 @@
|
|||
10.5 端到端的深度学习举例？ 311
|
||||
10.6 端到端的深度学习有什么挑战？ 311
|
||||
10.7 端到端的深度学习优缺点？ 312
|
||||
## 第十三章 优化算法 314
|
||||
|
||||
**第十三章 优化算法 314**
|
||||
|
||||
13.1 CPU和GPU 的区别？ 314
|
||||
13.2 如何解决训练样本少的问题 315
|
||||
13.3 什么样的样本集不适合用深度学习? 315
|
||||
|
|
@ -494,13 +460,18 @@
|
|||
13.42 怎么配置mini-batch梯度下降 342
|
||||
13.43 局部最优的问题 343
|
||||
13.44 提升算法性能思路 346
|
||||
## 第十四章 超参数调整 358
|
||||
|
||||
**第十四章 超参数调整 358**
|
||||
|
||||
14.1 调试处理 358
|
||||
14.2 有哪些超参数 359
|
||||
14.3 如何选择调试值? 359
|
||||
14.4 为超参数选择合适的范围 359
|
||||
14.5 如何搜索超参数？ 359
|
||||
## 第十五章 异构计算， GPU和框架选型指南 361
|
||||
|
||||
**第十五章 异构计算， GPU和框架选型指南 361**
|
||||
|
||||
|
||||
15.1 什么是异构计算？ 361
|
||||
15.2 什么是GPGPU？ 361
|
||||
15.3 GPU架构简介 361
|
||||
|
|
@ -531,7 +502,87 @@
|
|||
15.8.5 TPU和GPU的区别？
|
||||
15.8.6 未来量子计算对于深度学习等AI技术的影像？
|
||||
|
||||
**参考文献 366**
|
||||
|
||||
## 参考文献 366
|
||||
hey you are looked like a cool developer.
|
||||
Translate it in english.
|
||||
|
||||
# 4. 加入以及文档规范
|
||||
寻求有愿意继续完善的朋友、编辑、写手；如有意合作，完善出书（成为共同作者）。
|
||||
所有提交内容的贡献者，将会在文中体现贡献者个人信息（例: 大佬-西湖大学）
|
||||
为了让内容更充实完善，集思广益，欢迎Fork该项目并参与编写。请在修改MD文件的同时（或直接留言）备注自己的姓名－单位（大佬－斯坦福大学），一经采纳，会在原文中显示贡献者的信息，如有收益，会进一步分红，谢谢！
|
||||
|
||||
例子：
|
||||
|
||||
```markdown
|
||||
### 3.3.2 如何寻找超参数的最优值？（贡献者：大佬－斯坦福大学）
|
||||
|
||||
在使用机器学习算法时，总有一些难搞的超参数。例如权重衰减大小，高斯核宽度等等。算法不
|
||||
会设置这些参数，而是需要你去设置它们的值。设置的值对结果产生较大影响。常见设置超参数
|
||||
的做法有：
|
||||
|
||||
1. 猜测和检查：根据经验或直觉，选择参数，一直迭代。
|
||||
2. 网格搜索：让计算机尝试在一定范围内均匀分布的一组值。
|
||||
3. 随机搜索：让计算机随机挑选一组值。
|
||||
4. 贝叶斯优化：使用贝叶斯优化超参数，会遇到贝叶斯优化算法本身就需要很多的参数的
|
||||
困难。
|
||||
5. 在良好初始猜测的前提下进行局部优化：这就是 MITIE 的方法，它使用 BOBYQA 算
|
||||
法，并有一个精心选择的起始点。由于 BOBYQA 只寻找最近的局部最优解，所以这个方法
|
||||
是否成功很大程度上取决于是否有一个好的起点。在 MITIE 的情况下，我们知道一个好的
|
||||
起点，但这不是一个普遍的解决方案，因为通常你不会知道好的起点在哪里。从好的方面来
|
||||
说，这种方法非常适合寻找局部最优解。稍后我会再讨论这一点。
|
||||
6. 最新提出的 LIPO 的全局优化方法。这个方法没有参数，而且经验证比随机搜索方法好。
|
||||
```
|
||||
|
||||
# 5. 贡献与项目概览
|
||||
|
||||
已提交MD版本章节：请查看MarkDown（排名不分先后）
|
||||
|
||||
待定：表示该章节还未匹配到合适的负责人（统筹该章节的内容修改、审核、原创性陈述）
|
||||
可加：表示该章节，如果有其他合适的，可以开放权限加到负责人身份
|
||||
|
||||
|
||||
|
||||
| 内容 | 负责人 | 状态|
|
||||
| ---------------- | :-------- | :--------|
|
||||
|第一章 数学基础|哈工大博士-袁笛| 待定 |
|
||||
|第二章 机器学习基础|稿定科技计算机视觉工程师-刘鹏|待定|
|
||||
|第三章 深度学习基础|同济大学研究生-乔成磊；稿定科技计算机视觉工程师-刘鹏|可加|
|
||||
|第四章 经典网络|华南理工研究生-黄钦建|可加|
|
||||
|第五章 卷积神经网络CNN |杜克大学硕士、data scientist李骁丹；重庆大学研究生-刘畅；铪星创新科技联合创始人-杨文英；|可加|
|
||||
|第六章 循环神经网络RNN|杜克大学硕士、data scientist李骁丹|可加|
|
||||
|第七章 生成对抗网络GAN|牛津大学博士泽华；中科院硕士、爱奇艺算法工程师-郭晓锋；||
|
||||
|第八章 目标检测|稿定科技计算机视觉工程师-刘鹏；哈工大博士袁笛；上海大学研究生-陈方杰||
|
||||
|第九章 图像分割|华南理工研究生-黄钦建；电子科大研究生-孙洪卫、张越；中国农业科学院-杨国峰||
|
||||
|第十章 强化学习|复旦大学研究生明杰，杭州启飞CTO-徐武民|可加|
|
||||
|第十一章 迁移学习|中科院计算技术研究所博士－王晋东|可加|
|
||||
|第十二章 网络搭建及训练| |待定|
|
||||
|第十三章 优化算法|杭州启飞CTO-徐武民|可加|
|
||||
|第十四章 超参数调整|中兴通讯有限公司算法工程师－王超锋|可加|
|
||||
|第十五章 GPU和框架选型|澳洲monash大学Research Scientist/Telstra(澳洲电信)Data Scientist-钟申俊博士；平安科技算法工程师-崔永明|可加|
|
||||
|第十六章 自然语言处理NLP|电子科技大学博士-盛泳潘；深圳乌灵图明科技有限公司CTO-何建宏;DaoCloud研发工程师-张善干；澳洲monash大学Research Scientist/Telstra(澳洲电信)Data Scientist-钟申俊博士；华南理工大学&UCI博士-黄振华||
|
||||
|第十七章 移动端框架部署（新增）|川大硕士-顺丰科技-谈继勇；贵州大学硕士-三星-张达峰|可加|
|
||||
|
||||
|
||||
# 6. 更多
|
||||
|
||||
1. 寻求有愿意继续完善的朋友、编辑、写手; 如有意合作，完善出书（成为共同作者）。
|
||||
所有提交内容的贡献者，将会在文中体现贡献者个人信息（大佬-西湖大学）。
|
||||
|
||||
2. 联系方式 : 请联系scutjy2015@163.com (唯一官方邮箱)；
|
||||
|
||||
微信Tan： tan_weixin88(进群先在MD版本增加、改善、提交内容后，更容易进群。)
|
||||
|
||||
进群请加微信 委托人１：HQJ199508212176 委托人２：Xuwumin1203 委托人３：tianyuzy
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
3. 注意, 现出现不法分子冒充发起人，请广大伙伴儿知悉！
|
||||
|
||||
4. 接下来，将提供MD版本，大家一起编辑完善，敬请期待！希望踊跃提建议，补充修改内容！
|
||||
|
||||
|
||||
|
||||
|
|
|
|||
Loading…
Reference in New Issue