很荣幸参与分享，平时事太多，如果不是北京疫情可能都不会来卷这次比赛。

一直闷着头打，也是刚才知道周周星和分享的事，赶忙翻了下之前分享，学到挺多。

这里就简单分享几点吧。

1.首先模型方面，单流和双流是基础操作，本周另一个周周星也已经都有分享了，单流VLBERT，双流ALBEF，预训练还是能提比较明显，如果有资源继续 Scale 也能再提点，scale 之后再 ensemble 提升还是很明显。

2.再来数据方面，想必很多同学都对这个怎么切验证集方面比较迷，我也是做了 EDA 试了些，因为资源和时间考虑就没试K折，直接上的全量，这块可能需要些经验。Imbalance 方面 oversampling 可以调调试试，比较遗憾的一点是半监督想法还没怎么尝试。

3.最后其他的一些 trick，看之前好像也都有人提了，包括 EMA，Rdrop这类技巧。这里提一个自己感觉比较有意思的尝试吧，首先就是直接优化 metric，该题的指标是 l1 和 l2 的 macro 和 micro F1 的平均，可以设计一下 F1 损失直接优化，但使用方法有些 tricky，得探索一下。

继续搬砖去了。