感谢之前周周星和群友的分享，本人应该算是第二次参加比赛，还算是个比赛小白，初赛过程中跟着大佬们学到很多。

1.首先是模型构建上，可以在知乎上查看跨模态预训练相关综述以及原论文，vlbert，albef，univl等方法基本都可以work，单模表现上区别不大，预训练方法还没有尝试什么特别的，ita，itm，mlm等的随机组合

2.在数据处理上，我做了很多对比实验尝试怎么更好地利用文本数据，目前的切分方法比只切首尾的方法提升3-5k

3.这里说一点对比赛经验不多的人比较友好的，随机初始化的层和使用bert预训练权重的层设置不同学习率效果会有比较明显的提升

4.还有一点核心科技，是关于数据划分的，大家可以探索一下