lsl192317 / deepnetmodel

记录每一个常用的深度模型结构的特点（图和代码）

DeepNetModel

深度网络模型从LeNet5、AlexNet、VGGNet和ResNet等等不断改进，每一个模型独特的设计思路都值得好好记录下来，本仓库主要为了整理零散的网络资料，力求图示和代码精简地介绍每一个深度网络模型。

---

网络结构目录

• face_detection
  • ...
• object_classification
  • resnet
  • inception
  • network_in_network
  • mobilenet
  • shufflenet
  • alexnet
  • densenet
  • ...
• object_detection
  • R-FCN
• misc
  • group_convolution
  • normalization

---

ResNet

深度残差网络使得百层网络的训练成为可能，其他deep learning模型中大量采用了该架构。

ResNeXt

具体查看resnext

Network in Network

caffe model zoo中提供了ImageNet预训练模型文件Netowork in Network ILSVRC和CIFAR10预训练模型文件Network in Network CIFAR10 Model。

Inception v1,v2,v3,v4

增加Inception v1，v2，v3和v4论文思路整理，具体查看inception理解。

Xception

增加Xception论文整理思路，具体查看xception

轻量级网络

轻量级网络中经常遇到group convolution结构，相关参考group_convolution理解

MobileNet v1,v2

增加轻量级网络MobileNet v1和v2知识整理，具体查看mobilenet理解。

ShuffleNet

增加轻量级网络ShuffleNet知识整理，具体查看shufflenet理解。

AlexNet

增加AlexNet知识整理，具体查看alexnet理解。

ZFNet

增加ZFNet知识整理，具体查看zfnet理解。

VGGNet

增加VGGNet知识整理，具体查看vggnet理解。

DenseNet

增加DenseNet知识整理，具体查看densenet理解。

R-FCN

增加R-FCN知识整理，具体查看rfcn理解。

FPN

参考论文Feature Pyramid Networks for Object Detection

RetinaNet

参考论文Focal Loss for Dense Object Detection

normalization

• Layer normalization
• Instance Normalization: The Missing Ingredient for Fast Stylization
• Weight Normalization: A Simple Reparameterization to Accelerate Training of Deep Neural Networks
• Batch Renormalization: Towards Reducing Minibatch Dependence in Batch-Normalized Models
• MegDet: A Large Mini-Batch Object Detector

---

参考资料

• Deep Residual Learning for Image Recognition深度残差网络论文。
• ResNet, AlexNet, VGGNet, Inception: Understanding various architectures of Convolutional Networks 科普了AlexNet等网络结构。
• CNN卷积神经网络架构综述 CNN相关的网络架构综述博客，介绍了AlexNet、ZFNet、GoogLeNet、VGGNet和ResNet等常用深度神经网络，同时可以参考综述类文章An Analysis of Deep Neural Network Models for Practical Applications。
• Caffe神经网络结构汇总 介绍了caffe中常用的分类网络的模型结构。
• 自己项目的总结包括面试 其中包括了一些目标检测的总结。
• Convolutions Types，其中设计到非常多不同类型的卷积，可以作为细分探索。
• donkey's blog，该博客对与网络模型的分类非常细致，同时其中的博客对论文的解释非常简洁，可以作为参考。
• cnn-benchmarks，在不同GPU配置下不同网络的性能比较，其中包括AlexNet，ResNet，VGGNet。
• pretrained-models.pytorch，其中包含了常用DL模型预训练权重。
• conv-benchmark，比较了Keras和PyTorch上常用几种卷积的性能，包括conv1x1、conv3x1、conv1x3、conv3x3sep、conv3x3、conv5x5和conv3x3dilated，可以参考并今后设计用来形成自己对卷积计算在各种不同平台上的直觉。