Comments (2)
调参【荐】
- [1] 【长文】CNN调优总结
- [2] 笔记之Troubleshooting Deep Neural Networks - 知乎
- [3] 你有哪些deep learning(rnn、cnn)调参的经验?
- [4] 深度学习调参有哪些技巧?
- [5] cnn结构设计技巧-兼顾速度精度与工程实现(持续更新) - 知乎【荐】
- [6] 构建深度神经网络,我有20条「不成熟」的小建议
- [7] 本科生晋升GM记录 & kaggle比赛进阶技巧分享 - 知乎
[6]:
- 批归一化隐藏了糟糕的初始化导致的梯度爆炸;
- 并且除了在最后故意设计的一个学习率衰减可能有帮助,减小学习率对 ADAM 优化器并没有特别的帮助。
- 与批归一化一样,对值进行裁剪掩盖了真正的问题。我们还通过 tanh 函数控制高方差的输入值。
超()参数:
- 【1】权重衰减(weight decay)与学习率衰减(learning rate decay) - 知乎
- 【2】在神经网络中weight decay起到的做用是什么?momentum呢?normalization呢? - 知乎
【2】:
作者:autocyz
链接:https://www.zhihu.com/question/24529483/answer/114711446
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。
一、weight decay(权值衰减)的使用既不是为了提高你所说的收敛精确度也不是为了提高收敛速度,其最终目的是防止过拟合。在损失函数中,weight decay是放在正则项(regularization)前面的一个系数,正则项一般指示模型的复杂度,所以weight decay的作用是调节模型复杂度对损失函数的影响,若weight decay很大,则复杂的模型损失函数的值也就大。
二、momentum是梯度下降法中一种常用的加速技术。对于一般的SGD,其表达式为,沿负梯度方向下降。而带momentum项的SGD则写生如下形式:
其中即momentum系数,通俗的理解上面式子就是,如果上一次的momentum(即)与这一次的负梯度方向是相同的,那这次下降的幅度就会加大,所以这样做能够达到加速收敛的过程。
三、normalization。如果我没有理解错的话,题主的意思应该是batch normalization吧。batch normalization的是指在神经网络中激活函数的前面,将
按照特征进行normalization,这样做的好处有三点:
1、提高梯度在网络中的流动。Normalization能够使特征全部缩放到[0,1],这样在反向传播时候的梯度都是在1左右,避免了梯度消失现象。
2、提升学习速率。归一化后的数据能够快速的达到收敛。
3、减少模型训练对初始化的依赖。
from deeplearning-cv-notes.
模型压缩
- 一文读懂模型压缩
- Pruning(修剪): 因为神经网络很多权重几乎为0,这类参数作用不大,部分参数删掉也不影响模型预测效果
- Weight Factorization(权重分解):权重矩阵可以进行低秩矩阵分解,即low-rank matrix factorization,从而使得一些参数为0
- Quantization(削减精度):能用float32,不用float64;能用int,不用float
- Weight Sharing(共享权重):很多layer的参数可以共享,没必要用太多参数
from deeplearning-cv-notes.
Related Issues (20)
- 算法工程师的不同层级?
- Batch-normalized 应该放在非线性激活层的前面还是后面? HOT 1
- 语义分割中的损失函数?
- keras 使用预训练模型迁移学习、fine-tune HOT 1
- 用卷积进行下采样和池化下采样的区别是什么? HOT 4
- 全连接层(FC)和 全局平均池化(Global Average Pooling,GAP) HOT 1
- 与深度学习相关网站和链接推荐
- 神经网络中 add 和 concatenate 融合方式区别?
- TensorFlow 2.0 中的 tf.keras 和 Keras 区别? HOT 1
- 【GAN】认识 GAN HOT 1
- 【Python图像处理】遇到过的问题闲记 HOT 1
- 【置顶】学习教程 HOT 1
- 【语义分割】最新paper HOT 1
- 【点云分割】三维点云分割
- 【CNN】对 CNN 的一些理解和思考
- 【GNN】图神经网络学习
- 【OCR】光学字符识别
- 【语义分割】语义分割学习
- 熵、交叉熵、散度
- 毕业论文排版
Recommend Projects
-
React
A declarative, efficient, and flexible JavaScript library for building user interfaces.
-
Vue.js
🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.
-
Typescript
TypeScript is a superset of JavaScript that compiles to clean JavaScript output.
-
TensorFlow
An Open Source Machine Learning Framework for Everyone
-
Django
The Web framework for perfectionists with deadlines.
-
Laravel
A PHP framework for web artisans
-
D3
Bring data to life with SVG, Canvas and HTML. 📊📈🎉
-
Recommend Topics
-
javascript
JavaScript (JS) is a lightweight interpreted programming language with first-class functions.
-
web
Some thing interesting about web. New door for the world.
-
server
A server is a program made to process requests and deliver data to clients.
-
Machine learning
Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.
-
Visualization
Some thing interesting about visualization, use data art
-
Game
Some thing interesting about game, make everyone happy.
Recommend Org
-
Facebook
We are working to build community through open source technology. NB: members must have two-factor auth.
-
Microsoft
Open source projects and samples from Microsoft.
-
Google
Google ❤️ Open Source for everyone.
-
Alibaba
Alibaba Open Source for everyone
-
D3
Data-Driven Documents codes.
-
Tencent
China tencent open source team.
from deeplearning-cv-notes.