我们的方法主要有以下几点：

1. 加入尚未用到的特征，title+asr+ocr提关键词

2. 视频+文本embedding拼接，过largebert再过分类器

3. mlm，mfm预训练

4. 还尝试了一些其他的数据预处理思路，比如数据清洗（去停用词），简单的过采样等等，不过没有特别显著的提升