ding-ye / deeplearning

深度学习入门教程

DeepLearning

入门资料

• 1. 《深度学习》 Yoshua Bengio.Ian GoodFellow
• 2. 《机器学习》 周志华
• 3. 《神经网络与深度学习》 Michael Nielsen    
• 4. 《斯坦福大学深度学习基础教程》 Andrew Ng（吴恩达）      
• 5. 《模式识别与机器学习》 Christopher Bishop
• 6. 《Tensorflow实战Google深度学习框架》 郑泽宇 顾思宇
• 7. 《机器学习实战》 PelerHarrington
• 8. 机器学习 吴恩达 cs229个人笔记
  • 官网（笔记）  
  • 视频（中文字幕）
• 9. 机器学习 吴恩达 Coursera个人笔记  
  • 视频（含官方笔记）      
• 10. 深度学习 吴恩达 个人笔记  
  • 视频
• 11. 深度学习 李飞飞 已授权个人翻译笔记        
  • 视频
• 12. **大学（NTU）李宏毅教授课程
• 13. 《自然语言处理》Jacob Eisenstein
• 14. 《强化学习》
• 15. hangdong的深度学习博客,论文推荐
• 16. CS20:Tensorflow for DeepLearning Research
• 17. CS321-Hinton
• 18. 深度学习思维导图
• 19. CS230: Deep Learning
• 20. CS294-112

神经网络模型概览

• 1. 一文看懂25个神经网络模型
• 2. DNN概述论文：详解前馈、卷积和循环神经网络技术
• 3. colah's blog
• 4. Model Zoom
• 5. DNN概述

CNN

发展史

• 1. 94页论文综述卷积神经网络：从基础技术到研究前景
• 2. 从LeNet-5到DenseNet
• 3. CNN图像分割简史：从R-CNN到Mask R-CNN（译）
• 4. 深度学习之目标检测的前世今生（Mask R-CNN）
• 5. 纵览轻量化卷积神经网络：SqueezeNet、MobileNet、ShuffleNet、Xception
• 6. 深度学习目标检测模型全面综述：Faster R-CNN、R-FCN和SSD
• 7. 图像语义分割(Semantic segmentation) Survey
• 7. 从RCNN到SSD，这应该是最全的一份目标检测算法盘点
• 8. 图像语义分割(Semantic segmentation) Survey
• 9. 语义分割 发展综述
• 深度学习分类网络
• 卷积神经网络结构演变（form Hubel and Wiesel to SENet）
• 从VGG到NASNet，一文概览图像分类网络
• From RCNN to YOLO：上，下
• 后 R-CNN时代， Faster R-CNN、SSD、YOLO 各类变体**下的目标检测综述：Faster R-CNN系列胜了吗？
• 目标检测-20种模型的原味代码汇总
• 目标检测算法综述三部曲
  • 基于深度学习的目标检测算法综述（一）
  • 基于深度学习的目标检测算法综述（二）
  • 基于深度学习的目标检测算法综述（三）
• 如何走近深度学习人脸识别？你需要这篇超长综述 | 附开源代码

教程

• 卷积神经网络工作原理
• 变形卷积核、可分离卷积
• 各种卷积
• 反卷积
• Convolution Network及其变种（反卷积、扩展卷积、因果卷积、图卷积）
• Dilated/Atrous conv 空洞卷积/多孔卷积
• CNN模型之ShuffleNet
• 一文简述ResNet及其多种变体
• ResNet解析
• 将CNN引入目标检测的开山之作：R-CNN
• 深度学习（十八）基于R-CNN的物体检测
• R-CNN论文详解
• 深度学习（六十四）Faster R-CNN物体检测
• 先理解Mask R-CNN的工作原理，然后构建颜色填充器应用
• 人脸检测和识别算法综述      
  • 人脸检测算法综述          
  • 人脸检测背景介绍和发展现状
  • 人脸识别算法演化史
  • CascadeCNN  
  • MTCNN
• 语义分割卷积神经网络快速入门
• 图像语义分割的工作原理和CNN架构变迁
• CapsNet入门系列
  • CapsNet入门系列之一：胶囊网络背后的直觉
  • CapsNet入门系列之二：胶囊如何工作
  • CapsNet入门系列之三：囊间动态路由算法
  • CapsNet入门系列之四：胶囊网络架构
• YOLO
• 目标检测|YOLOv2原理与实现(附YOLOv3)
• 目标检测模型YOLO v3问世
• Attention， 1，2，3，4，5
  • 读取器读取原始数据(例如源语句中的源词)并将其转换为分布式表示,其中 一个特征向量与每个词的位置相关联。
  • 存储器存储读取器输出的特征向量列表。这可以被理解为包含事实序列的存储 器,而之后不必以相同的顺序从中检索,也不必访问全部。
  • 最后一个程序利用存储器的内容顺序地执行任务,每个时间步聚焦于某个存储 器元素的内容(或几个,具有不同权重)。
• 一文读懂卷积神经网络中的1x1卷积核
• 目标检测之CornerNet, 1, 2, 3
• 人群计数, 1, 2, 3
• RelationNetwork
• ShuffleNet V2和四个网络架构设计准则
• 【Tensorflow】tf.nn.depthwise_conv2d如何实现深度卷积?
• Tensorflow】tf.nn.atrous_conv2d如何实现空洞卷积？
• 【Tensorflow】tf.nn.separable_conv2d如何实现深度可分卷积?
• 【TensorFlow】tf.nn.conv2d_transpose是怎样实现反卷积的？

Action

• 先读懂CapsNet架构然后用TensorFlow实现
• TensorFlow Object Detection API 教程
  • TensorFlow 对象检测 API 教程1
  • TensorFlow 对象检测 API 教程2
  • TensorFlow 对象检测 API 教程3
  • TensorFlow 对象检测 API 教程 4
  • TensorFlow 对象检测 API 教程5

GAN

发展史

• 千奇百怪的GAN变体
• The GAN Landscape：Losses, Architectures, Regularization, and Normalization
• 深度学习新星：GAN的基本原理、应用和走向

教程

• 1. GAN原理学习笔记
• 2. 极端图像压缩的对抗生成网络
• 3. **大学李宏毅GAN教程
  • Basic
  • Improving
• 4. 2017年GAN 计算机视觉相关paper汇总
• 5. 在Keras上实现GAN：构建消除图片模糊的应用
• 6. CycleGAN：图片风格，想换就换 | ICCV 2017论文解读
• 7. Wasserstein GAN
• 用变分推断统一理解生成模型（VAE、GAN、AAE、ALI）

Action

• 1. GAN学习指南：从原理入门到制作生成Demo
• 2. 机器之心GitHub项目：GAN完整理论推导与实现

RNN

发展史

• 从90年代的SRNN开始，纵览循环神经网络27年的研究进展

教程

• 完全图解RNN、RNN变体、Seq2Seq、Attention机制
• 循环神经网络(RNN, Recurrent Neural Networks)介绍
• RNN以及LSTM的介绍和公式梳理
• 深度学习其五 循环神经网络                      
• 用循环神经网络进行文件无损压缩：斯坦福大学提出DeepZip
• 吴恩达序列建模课程
  • Coursera吴恩达《序列模型》课程笔记（1）-- 循环神经网络（RNN）
  • Coursera吴恩达《序列模型》课程笔记（2）-- NLP & Word Embeddings
  • Coursera吴恩达《序列模型》课程笔记（3）-- Sequence models & Attention mechanism
• Word2Vec
  • word2vec原理(一) CBOW与Skip-Gram模型基础
  • word2vec原理(二) 基于Hierarchical Softmax的模型
  • word2vec原理(三) 基于Negative Sampling的模型
  • 用gensim学习word2vec

Action

• tensorflow中RNNcell源码分析以及自定义RNNCell的方法
• TensorFlow中RNN实现的正确打开方式
• TensorFlow RNN 代码

LSTM

教程

• 1. （译）理解长短期记忆(LSTM) 神经网络
• 2. 一文读懂LSTM和RNN
• 3. 探索LSTM：基本概念到内部结构
• 4. 翻译：深入理解LSTM系列            
  • 深入理解 LSTM 网络 (一)
  • 深入理解 LSTM 网络 (二)
• LSTM

Action

• 用tensorflow LSTM如何预测股票价格
• TensorFlow的多层LSTM实践
• 《安娜卡列尼娜》文本生成——利用TensorFlow构建LSTM模型

深度模型的优化    

• 1. 优化算法纵览
• 2. 从梯度下降到Adam
• 3. 从梯度下降到拟牛顿法：盘点训练神经网络的五大学习算法
• 4. 正则化技术总结
  • 1. [视频讲解]史上最全面的正则化技术总结与分析--part1
  • 2. [视频讲解]史上最全面的正则化技术总结与分析--part2
• 5. 最优化算法系列（math）
• 6. 神经网络训练中的梯度消失与梯度爆炸        
• 7. 神经网络的优化及训练
• 8. 通俗讲解查全率和查准率
• 9. 激活函数一览
• 10. Coursera吴恩达《优化深度神经网络》课程笔记（3）-- 超参数调试、Batch正则化和编程框架
• 11. 机器学习各种熵
• 12. 距离和相似性度量
• 13. 机器学习里的黑色艺术：normalization, standardization, regularization
• 14. LSTM系列的梯度问题
• 15. 损失函数整理
• 16. 详解残差块为何有助于解决梯度弥散问题
• 17. FAIR何恺明等人提出组归一化：替代批归一化，不受批量大小限制
• 18. Batch Normalization（BN）:1 ,2 ,3 ,4 , 5
• 19. 详解深度学习中的Normalization，不只是BN
• 20. BFGS
• 21. 详解深度学习中的梯度消失、爆炸原因及其解决方法
• 22. Dropout, 1, 2, 3

炼丹术士那些事

• 训练的神经网络不工作？一文带你跨过这37个坑
• 深度学习与计算机视觉系列(8)_神经网络训练与注意点
• 神经网络训练loss不下降原因集合
• 机器学习：如何找到最优学习率及实现
• 不平衡数据集处理方法, 其二
• 同一个神经网络使用不同激活函数的表达能力是否一致
• 梯度下降优化算法回顾
• 论文笔记之数据增广：mixup
• 避坑指南：数据科学家新手常犯的13个错误
• 凭什么相信CNN的结果?--可视化
  • 凭什么相信你，我的CNN模型？（篇一：CAM和Grad-CAM)
  • 凭什么相信你，我的CNN模型？（篇二：万金油LIME)
  • 论文笔记:Grad-CAM: Visual Explanations from Deep Networks via Gradient-based Localization
  • CV：基于Keras利用训练好的hdf5模型进行目标检测实现输出模型中的表情或性别的gradcam(可视化)
• 大卷积核还是小卷积核? 1, 2

机器学习、深度学习基础理论

信息论

• 1. 机器学习中的各种熵    
• 2. 从香农熵到手推KL散度：纵览机器学习中的信息论

深度学习相关算法    

SVD

• 1. 关于奇异值分解SVD的总结（PCA、LDI）
• 2. 奇异值分解（SVD）
• 3. 奇异值分解(SVD)原理详解及推导    
• 4. SVD在推荐系统中的应用详解以及算法推导

迁移学习

• 1. 迁移学习：经典算法解析
• 2. 什么是迁移学习 (Transfer Learning)？这个领域历史发展前景如何？
• 3. 迁移学习个人笔记  
• 迁移学习总结(One Shot Learning, Zero Shot Learning)

域自适应

• Domain Adaptation视频教程（附PPT）及经典论文分享
• 模型汇总15 领域适应性Domain Adaptation、One-shot/zero-shot Learning概述
• 【深度学习】论文导读：无监督域适应（Deep Transfer Network: Unsupervised Domain Adaptation）
• 【论文阅读笔记】基于反向传播的无监督域自适应研究
• 【Valse大会首发】领域自适应及其在人脸识别中的应用
• CVPR 2018：基于域适应弱监督学习的目标检测

元学习

• OpenAI提出新型元学习方法EPG，调整损失函数实现新任务上的快速训练      

强化学习

• 强化学习（Reinforcement Learning）知识整理
• 强化学习从入门到放弃的资料
• 强化学习入门
  • 强化学习入门 第一讲 MDP
• 强化学习——从Q-Learning到DQN到底发生了什么？
• 从强化学习到深度强化学习（上）                  
• 从强化学习到深度强化学习（下）
• 一文带你理解Q-Learning的搜索策略

马尔科夫决策

• 马尔科夫决策过程之Markov Processes（马尔科夫过程）
• 马尔科夫决策过程之Markov Reward Process（马尔科夫奖励过程）
• 马尔科夫决策过程之Bellman Equation（贝尔曼方程）
• 马尔科夫决策过程之Markov Decision Process(马尔科夫决策过程)
• 马尔科夫决策过程之最优价值函数与最优策略

推荐算法      

• 推荐算法相关的文档整理              

自然语言处理（NLP）

• 基于word2vec训练词向量(一)
• 基于word2vec训练词向量(二)
• 自然语言处理中的自注意力机制（Self-Attention Mechanism）      
• YJango的Word Embedding--介绍
• CMU&谷歌大脑提出新型问答模型QANet

语义分割相关算法

• 干货 | 一文概览主要语义分割网络
• 深度学习中IU、IoU(Intersection over Union)
• Selective Search for Object Detection （译文）
• NMS——非极大值抑制
• 边框回归(Bounding Box Regression)详解

机器学习相关算法    

• ID3、C4.5、CART、随机森林、bagging、boosting、Adaboost、GBDT、xgboost算法总结
• 数据挖掘十大算法简要说明
• AdaBoost到GBDT系列
  • 当我们在谈论GBDT：从 AdaBoost 到 Gradient Boosting
  • 当我们在谈论GBDT：Gradient Boosting 用于分类与回归
  • 当我们在谈论GBDT：其他 Ensemble Learning 算法
• 集成学习之bagging,stacking,boosting概念理解

决策树(Decision Tree)  

• Python3《机器学习实战》学习笔记（二）：决策树基础篇之让我们从相亲说起
• Python3《机器学习实战》学习笔记（三）：决策树实战篇之为自己配个隐形眼镜
• 机器学习实战教程（十三）：树回归基础篇之CART算法与树剪枝
• 《机器学习实战》基于信息论的三种决策树算法(ID3,C4.5,CART)
• 说说决策树剪枝算法
• 机器学习实战 第九章 树回归
• 决策树值ID3、C4.5实现
• 决策树值CART实现

支持向量机(SVM)    

• SVM通俗导论 July（本文章是我看过最好的SVM导论）      
• Python3《机器学习实战》学习笔记（八）：支持向量机原理篇之手撕线性SVM （SMO训练过程总结得清晰易懂）      
• svm核函数的理解和选择
• 核函数和径向基核函数 (Radial Basis Function)--RBF                        
• SVM核函数        

LDA

• 教科书上的LDA为什么长这个样子？

标签传播算法(Label Propagation Algorithm)    

• 标签传播算法（Label Propagation）及Python实现
  • 参考资料

蒙塔卡罗搜索树

• 蒙特卡洛树搜索入门指南

GBDT

• LightGBM大战XGBoost
• 概述XGBoost、Light GBM和CatBoost的同与不同    
• 梯度提升决策树
• GBDT原理及应用
• XGBOOST原理篇

集成(EM)

• 集成学习法之bagging方法和boosting方法
• Bagging,Boosting,Stacking
• 人人都懂的EM算法                      

条件随机场(CRF, 判别式模型)

• 如何轻松愉快地理解条件随机场（CRF）？
• 如何用简单易懂的例子解释条件随机场（CRF）模型？它和HMM有什么区别？
• HMM ,MHMM,CRF 优缺点与区别

TSNE

• 流形学习-高维数据的降维与可视化
• tSNE

谱聚类

• 谱聚类（Spectral Clustering）算法介绍
• 聚类5--谱和谱聚类

工具平台使用  

Tensorflow

• 【干货】史上最全的Tensorflow学习资源汇总
• 《21个项目玩转深度学习———基于TensorFlow的实践详解》  

MXNet

• Gluon

Python3.x

• 廖雪峰Python教程
• 菜鸟教程                        

标注工具

• BoundingBox
  • labelImg
• Segmentation
  • labelme

数据集

• 1. 25个深度学习相关公开数据集
• 2. 自然语言处理（NLP）数据集
• 3.全唐诗(43030首)
• 4. 伯克利大学公开数据集
• 5. ACL 2018资源：100+ 预训练的中文词向量
• 6. 预训练中文词向量
• 7. 公开数据集种子库
• 8. 数据集】计算机视觉，深度学习，数据挖掘数据集整理
• 9. 计算机视觉著名数据集CV Datasets
• 10. 计算机视觉相关数据集和比赛
• 11. 这是一份非常全面的开源数据集，你，真的不想要吗？
• 12. 人群密度估计现有主要数据集特点及其比较
• 13. DANBOORU2017: A LARGE-SCALE CROWDSOURCED AND TAGGED ANIME ILLUSTRATION DATASET

To do list:

• Inter Covariate shift
• • Transposed Convolution, Fractionally Strided Convolution or Deconvolution
• • 2014机器学习个人笔记、cs231、2011机器学习个人笔记、深度学习
• 将收藏过的文章转移到此项目（一直持续）
• 准备新建个论文索引项目，将看过的论文保存（按照方向、年份、名称排序）
• 重新调整本项目的结构（该方向的综述或者迅速纵览，详细解释文章，实战（包括测试和训练））
• 将看过的论文的模型的test代码和train代码跑通
  • 准备跑通YOLO系列模型
    • • YOLOv1 tensorflow版本test代码跑通
    • • YOLOv1 tensorlfow版本train代码跑通
    • • YOLOv3 darknet版本test跑通
    • • YOLOv3 darknet版本train跑通