theonlycoder-qaq / paper-reading

深度学习经典、新论文逐段精读

深度学习论文精读

录制完成的论文

总共 32 视频，总时长 28.3 小时, 总播放 286 万

日期	标题	封面	时长	视频	播放数
6/17/22	Zero 逐段精读		52:21		0 万
6/10/22	DETR 逐段精读		54:22		0 万
6/3/22	Megatron LM 逐段精读		56:07		0 万
5/27/22	GPipe 逐段精读		58:47	B站	1.2 万
5/5/22	Pathways 逐段精读		1:02:13	B站	3.9 万
4/28/22	视频理解论文串讲（下）		1:08:32	B站, YouTube	1.6 万
4/21/22	参数服务器（Parameter Server） 逐段精读		1:37:40	B站	6.1 万
4/14/22	视频理解论文串讲（上）		51:15	B站, YouTube	2.6 万
3/31/22	I3D 论文精读		52:31	B站, YouTube	3.5 万
3/24/22	斯坦福 2022 年 AI 指数报告 精读		1:19:56	B站, YouTube	5.3 万
3/17/22	AlphaCode 论文精读		44:00	B站, YouTube	3.3 万
3/10/22	OpenAI Codex 论文精读		47:58	B站, 知乎 YouTube	7.1 万
3/3/22	GPT, GPT-2, GPT-3 精读		1:29:58	B站, YouTube	4.1 万
2/24/22	Two-Stream 逐段精读		52:57	B站, YouTube	4.0 万
2/10/22	CLIP 逐段精读		1:38:25	B站, 知乎, YouTube	5.4 万
2/6/22	你（被）吐槽过论文不够 novel 吗？		14:11	B站, 知乎	6.0 万
1/23/22	AlphaFold 2 精读		1:15:28	B站, 知乎, YouTube	5.3 万
1/18/22	如何判断（你自己的）研究工作的价值		9:59	B站, 知乎	5.2 万
1/15/22	Swin Transformer 精读		1:00:21	B站, 知乎, YouTube	8.0 万
1/7/22	指导数学直觉		52:51	B站, 知乎, YouTube	5.2 万
1/5/22	AlphaFold 2 预告		03:28	B站	3.5 万
12/20/21	对比学习论文综述		1:32:01	B站, 知乎, YouTube	7.6 万
12/15/21	MoCo 逐段精读		1:24:11	B站, 知乎, YouTube	8.1 万
12/9/21	如何找研究想法 1		5:34	B站	6.0 万
12/8/21	MAE 逐段精读		47:04	B站, 知乎, YouTube	8.0 万
11/29/21	ViT 逐段精读		1:11:30	B站, 知乎, YouTube	12.8 万
11/18/21	BERT 逐段精读		45:49	B站, 知乎, YouTube	10.8 万
11/9/21	GAN 逐段精读		46:16	B站, 知乎, YouTube	19.6 万
11/3/21	零基础多图详解 图神经网络（GNN/GCN）		1:06:19	B站, 知乎, YouTube	17.4 万
10/27/21	Transformer 逐段精读 （视频中提到的文献 1)		1:27:05	B站, 知乎, YouTube	49.5 万
10/22/21	ResNet 论文逐段精读		53:46	B站, 知乎, YouTube	12.3 万
10/21/21	撑起计算机视觉半边天的 ResNet		11:50	B站, 知乎, YouTube	8.8 万
10/15/21	AlexNet 论文逐段精读		55:21	B站, 知乎, YouTube	13.3 万
10/14/21	9年后重读深度学习奠基作之一：AlexNet		19:59	B站, 知乎, YouTube	12.5 万
10/06/21	如何读论文		06:39	B站, 知乎, YouTube	18.5 万

所有论文

包括已经录制完成和之后将要介绍的论文。选取的原则是10年内深度学习里有影响力文章（必读文章），或者近期比较有意思的文章。当然这十年里重要的工作太多了，不可能一一过一遍。在选取的时候我会偏向一些之前 直播课 中没讲到过的。 欢迎大家在 讨论区 里提供建（点）议（歌）。

总论文数 64，录制完成数 32

（这里引用采用的是 semanticscholar，是因为它提供 API 可以自动获取，不用手动更新。）

计算机视觉 - CNN

已录制	年份	名字	简介	引用
✅	2012	AlexNet	深度学习热潮的奠基作	78836 (link)
	2014	VGG	使用 3x3 卷积构造更深的网络	60412 (link)
	2014	GoogleNet	使用并行架构构造更深的网络	28676 (link)
✅	2015	ResNet	构建深层网络都要有的残差连接。	91154 (link)
	2017	MobileNet	适合终端设备的小CNN	9743 (link)
	2019	EfficientNet	通过架构搜索得到的CNN	4535 (link)
	2021	Non-deep networks	让不深的网络也能在ImageNet刷到SOTA	0 (link)

计算机视觉 - Transformer

已录制	年份	名字	简介	引用
✅	2020	ViT	Transformer杀入CV界	3491 (link)
✅	2021	CLIP	图片和文本之间的对比学习	1038 (link)
✅	2021	Swin Transformer	多层次的Vision Transformer	1255 (link)
	2021	MLP-Mixer	使用MLP替换self-attention	308 (link)
✅	2021	MAE	BERT的CV版	179 (link)

计算机视觉 - GAN

已录制	年份	名字	简介	引用
✅	2014	GAN	生成模型的开创工作	28558 (link)
	2015	DCGAN	使用CNN的GAN	9621 (link)
	2016	pix2pix		10788 (link)
	2016	SRGAN	图片超分辨率	5962 (link)
	2017	WGAN	训练更加容易	2754 (link)
	2017	CycleGAN		3425 (link)
	2018	StyleGAN		3382 (link)
	2019	StyleGAN2		1497 (link)
	2021	StyleGAN3		114 (link)

计算机视觉 - Object Detection

已录制	年份	名字	简介	引用
	2014	R-CNN	Two-stage	16570 (link)
	2015	Fast R-CNN		13582 (link)
	2015	Faster R-CNN		31353 (link)
	2016	SSD	Single stage	14883 (link)
	2016	YOLO		15721 (link)
	2017	Mask R-CNN		3524 (link)
	2017	YOLOv2		7599 (link)
	2018	YOLOv3		8130 (link)
	2019	CenterNet	Anchor free	1005 (link)
	2020	DETR	Transformer	1906 (link)

计算机视觉 - 对比学习

已录制	年份	名字	简介	引用
✅	2018	InstDisc	提出实例判别和memory bank做对比学习	1077 (link)
✅	2018	CPC	对比预测编码，图像语音文本强化学习全都能做	2795 (link)
✅	2019	InvaSpread	一个编码器的端到端对比学习	248 (link)
✅	2019	CMC	多视角下的对比学习	930 (link)
✅	2019	MoCov1	无监督训练效果也很好	2996 (link)
✅	2020	SimCLRv1	简单的对比学习 (数据增强 + MLP head + 大batch训练久)	4032 (link)
✅	2020	MoCov2	MoCov1 + improvements from SimCLRv1	984 (link)
✅	2020	SimCLRv2	大的自监督预训练模型很适合做半监督学习	691 (link)
✅	2020	BYOL	不需要负样本的对比学习	1325 (link)
✅	2020	SWaV	聚类对比学习	873 (link)
✅	2020	SimSiam	化繁为简的孪生表征学习	655 (link)
✅	2021	MoCov3	如何更稳定的自监督训练ViT	198 (link)
✅	2021	DINO	transformer加自监督在视觉也很香	409 (link)

自然语言处理 - Transformer

已录制	年份	名字	简介	引用
✅	2017	Transformer	继MLP、CNN、RNN后的第四大类架构	32618 (link)
✅	2018	GPT	使用 Transformer 解码器来做预训练	3285 (link)
✅	2018	BERT	Transformer一统NLP的开始	31222 (link)
✅	2019	GPT-2	更大的 GPT 模型，朝着zero-shot learning迈了一大步	5741 (link)
✅	2020	GPT-3	100倍更大的 GPT-2，few-shot learning效果显著	3935 (link)

系统

已录制	年份	名字	简介	引用
✅	2014	参数服务器	支持千亿参数的传统机器学习模型	1363 (link)
	2018	GPipe	流水线（Pipeline）并行	612 (link)
	2019	Megatron-LM	张量（Tensor）并行	455 (link)
	2019	Zero	参数分片	130 (link)
✅	2022	Pathways	将Jax拓展到上千TPU核上	4 (link)

图神经网络

已录制	年份	名字	简介	引用
✅	2021	图神经网络介绍	GNN的可视化介绍	7 (link)

优化算法

已录制	年份	名字	简介	引用
	2014	Adam	深度学习里最常用的优化算法之一	86505 (link)
	2016	为什么超大的模型泛化性不错		3410 (link)
	2017	为什么Momentum有效	Distill的可视化介绍	122 (link)

新领域应用

已录制	年份	名字	简介	引用
	2016	AlphaGo	强化学习出圈	11106 (link)
	2020	AlphaFold	赢得比赛的的蛋白质3D结构预测	1074（link)
✅	2021	AlphaFold 2	原子级别精度的蛋白质3D结构预测	2395 (link)
✅	2021	Codex	使用注释生成代码	145 (link)
✅	2021	指导数学直觉	分析不同数学物体之前的联系来帮助发现新定理	42 (link)
✅	2022	AlphaCode	媲美一般程序员的编程解题水平	17 (link)

Footnotes

1. 1 斯坦福100+作者的200+页综述，2 对LayerNorm的新研究，3 对Attention在Transformer里面作用的研究 ↩