ezra-yu / accv2022_fgia_1st

1st solution for the Webly-supervised Fine-grained Recognition competition in https://www.cvmart.net/race/10412/base

Solution of FGIA ACCV 2022(1st Place)

This is the 1st Place Solution for Webly-supervised Fine-grained Recognition, refer to the ACCV workshop competition in https://www.cvmart.net/race/10412/base.

Mainly done by Ezra-Yu, Yuan Liu and Songyang Zhang, base on MMClassifiion 与 MMSelfSup. please flork and star them if you think they are useful.

Lecture and slide are available.

Note:

Tricks (AdaptiveSubCenterArcFace, EQL_Loss, Post-Hoc_LT_Adjusment, Uniform_Model_Soup) have been or will be implemented in MMClassifiion.

Result

Show the result

LB A

LB B

Reproduce / 复现

复现精度请点击这里

Description

Backbone and Pre-train

• ViT(MAE-pt) # 自己预训练
• Swin(21kpt) # 来自MMCls-swin_transformer_v2.

Archs

• ViT + CE-loss + post-LongTail-Adjusment
• ViT + SubCenterArcFaceWithAdvMargin(CE)
• Swin-B + SubCenterArcFaceWithAdvMargin(SoftMax-EQL)
• Swin-L + SubCenterArcFaceWithAdvMargin(SoftMAx-EQL)

所有都使用了 Flip TTA。

Flow

MIM 预训练 --> 训练 --> 清洗数据 --> fine-tune + 集成 + 生成伪标签交替训练 --> 后处理

1. MAE 预训练
2. Swin 与 ViT 的训练
3. 使用权重做数据清洗
4. 训练 -> 制作伪标签，放回训练集中 -> 再训练； (testa3轮)
5. 训练 -> 制作伪标签，放回训练集中 -> 再训练； (testb3轮,包括testa的伪标签)
6. 模型融合，调整预测的标签分布，提交

Summary

• MAE | Config
• Swinv2 | Config
• ArcFace | Code
• SubCenterArcFaceWithAdvMargin | Code
• Post-LT-adjusment | Code
• SoftMaxEQL | Code
• FlipTTA | Code
• 数据清洗
• 模型融合: Uniform-model-soup | code
• 半监督 | Code
• 自适应集成 Code,
• 后处理: 调整预测分布;

使用了没有效果 used but no improvement

1. 使用检索以及检索分类混合的方式
2. 使用EfficientNet

后续 not used but worth try

1. DiVE 蒸馏提升长尾问题表现
2. Simim 训一个 swinv2 的预训练模型
3. 优化 re-distribute-label

accv2022_fgia_1st's Issues

图床

关于SoftmaxEQLLoss的疑问

关于数据集的问题

请问这次比赛的数据集还有其他下载途径吗？官网只能报名才能下载数据集，但报名时间早已经过去了。

关于自蒸馏

流程中的自蒸馏的代码在哪儿，是指使用伪标签训练么？

关于MAE的疑问

@Ezra-Yu 非常感谢您的工作。当前有些疑问，麻烦解惑~

目的：MAE预训练的资源和成本过高，想了解收益如何？
问题：MAE是否有消融实验结果？如果没有，MAE-ViT在比赛过程中的提升过程也OK~

再次感谢，期待回复~