我的分享就主要包括两点吧，主要就是base+pretrain

(1)baseline和之前郭大结构类似，然后文本部分直接是title，asr，ocr拼接输入到bert，这里也是用官方提供的mac-bert；线上大概0.653

在trick方面目前主要尝试了fgm对抗和加权loss，不过只有fgm有2-4k的提升；然后可能由于数据划分的原因，直接全量+fgm线上大概0.668

(2)pretrain，官方提供的百万无标注数据应该作用挺大的，我在预训练这部分主要用的mlm(mask language modeling)+itc(image text contrastive)这两个loss，然后也是全量训练的话线上就0.685，不过这几个loss并没有做过消融，不一定都有用，然后之前也有同学分享的mfm，也是可以去尝试的