bindog / gitalk-comment Goto Github PK

https://bindog.github.io/blog/2019/09/05/gpu-memory-balanced-model-parallel/

去年的工作了，一直没抽出时间整理出来，模型并行看似神秘，在网上搜索相关资料的时候大部也是以谈原理的居多，唯独少了有人拿出代码来捅破这层窗户纸。这里我放出一个PyTorch版本的Demo供大家参考交流。

https://bindog.github.io/blog/2020/05/20/optimize-training-memory-by-op-fusion-gradient-checkpoint/

背景 反向传播是如何工作的？ 显存被谁吃掉了 手动合并OP 还能更进一步吗？ CUDA版的swish activation背景前几天看到知乎上的文章FLOPs与模型推理速度，文中提到一个比较耗时又占显存的pointwise操作x * sigmoid(x)，这实际上是swish activation；...

https://bindog.github.io/blog/2019/10/23/why-triplet-loss-works/

0x00 triplet loss简介0x00 triplet loss简介深度学习领域有一块非常重要的方向称之为metric learning，其中一个具有代表性的方法就是triplet loss，triplet loss的基本**很清晰，就是让同一类别样本的feature embedding尽可能靠近，而...

https://bindog.github.io/blog/2020/03/13/deep-learning-model-convert-and-depoly/

背景背景深度学习模型在训练完成之后，部署并应用在生产环境的这一步至关重要，毕竟训练出来的模型不能只接受一些公开数据集和榜单的检验，还需要在真正的业务场景下创造价值，不能只是为了PR而躺在实验机器上在现有条件下，一般涉及到模型的部署就要涉及到模型的转换，而转换的过程也是随着对应平台的不同而不同，一般工程师接触到...

https://bindog.github.io/blog/2020/04/12/model-parallel-with-apex/

背景 混合精度训练 模型并行改造 重写@staticmethod backward中的问题修复 使用sparse tensor 总结 参考文献背景混合精度训练出现了有好几年的时间了，由于前东家的卡是老古董的GTX 1080 Ti，不支持FP16，一直没...