感谢前面周周星的方案方分享以及qq群里大佬们的讨论，给我们的模型方案有了很大的启发。我们的模型大概有几个上分点：

1. 精心调一下郭大给的baseline，就能达到0.66的分数了，啥也不用加
2. masked language modeling (MLM)，video text matching (VTM)预训练方案都有用
3. fgm pgd ema这些方案也都有用
4. 以上都做完，精心调一调可以0.68+了
5. 最后一个点靠核心科技

还有给大家几点建议：

1. 本地构造合适的验证集很重要，可以检查下验证集是否存在某些类别只有一两个样本，若有的话，这些类别带来的分数抖动极大（极端情况比如某类别只有一个样本的话，猜错F1是0，猜对F1是100，对整体分数影响五个千），可能会掩盖方案本身带来的分数增益
2. 初赛只是个门票，不建议卷模型融合，跑得累复现麻烦，主办方审核也麻烦，复赛卡一下运行时间模型大小就寄寄了