swin transformer的分类训练结果为啥比官方源码低好多？是我哪里设置有误吗 about awesome-backbones

[Fafa-DL]

按我经验来看学习率需要按你调的batch size同步修改，学习率影响很大

[895318]

按我经验来看学习率需要按你调的batch size同步修改，学习率影响很大

那请问学习率和batch-size的关系一般是怎样的呢，我的数据集大概训练集8000+张，测试集2000+张。batch-size调低则相应的lr是应该是低一点还是高一点？请问up项目里的这个*32/64是什么意思？和你原始设置的batch-size=32是否有联系？我看swin 源码里的学习率是_C.TRAIN.BASE_LR = 5e-4（batch-size=32）

[Fafa-DL]

batch-size调低则相应的lr是应该是低一点，配置文件中batch 32和公式中的32对应，你先同步替换更改学习率再测试准确率是否有提升

[895318]

batch-size调低则相应的lr是应该是低一点，配置文件中batch 32和公式中的32对应，你先同步替换更改学习率再测试准确率是否有提升

感觉变化不大...我甚至还换了台设备，在修改batch-size的同时也修改了学习率，无论是调整公式里的32还是直接把学习率调小，结果都很惨...不知道是什么原因（如图）....另外还有个问题想问up，项目里的模型可以从checkpoint恢复训练吗？好像在设置文件里没有看见这行

[Fafa-DL]

我比较喜欢用1e-4你可以试试，调lr是个杂活。恢复训练是支持的，训练那块有教程你可以看看https://github.com/Fafa-DL/Awesome-Backbones/blob/main/datas/docs/How_to_train.md

[895318]

我比较喜欢用1e-4你可以试试，调lr是个杂活。恢复训练是支持的，训练那块有教程你可以看看https://github.com/Fafa-DL/Awesome-Backbones/blob/main/datas/docs/How_to_train.md

好的我再调调，请问up“是否每个Epoch更新学习率”这个设置true或false会在哪方面产生不同呢...
T^T多谢

[Fafa-DL]

我在B站视频中有讲你可以看看。还有一个很重要的和提升精度有关的操作是你可以选择性的关掉一些图像增强操作，经测试有时候那些增强反而污染数据

[jcdasheng]

你们recall都大于1吗