评论

6.27周周星(第一名)分享

6.27周周星(第一名)分享

很荣幸,获得最后一周的周星星。大家很关注NN,本分享更多关于NN的尝试。

1. 目前分数是三个队友的融合结果,融合提升最大的是树模型和NN,所以我们这次的提升的原因是树模型分数上分了。

2. 深度NN方面。因为之前看过类似的论文,所以优先使用了如LSTUR模型以及NRMS模型等multi-head attention的策略,一波梭哈,大概在0.671左右。后面继续深挖,竟然毫无提升。进一步分析有可能是bgm的缺失导致,试过将所有的缺失为唯一编码,以及每个缺失单独一个编码(怕和当前的unk match),分数略有提升。进一步的,某些类似于din(懂得人应该明白是什么特征)的相关特征在树模型里面特征重要性很高,因此我在NN中单独设计了具有权重衰减单独的结构(兼顾feedid视频位置信息和日期信息),用来学习用户长短兴趣变化转移,带来线上收益很大。除此之外,前面周星星分享MMOE结构模型也可以到0.678,而且推理时间短。最近两周我对MMOE进行魔改,尝试过FM+MMOE、CIN+MMOE、LSTM+MMOE、增加共享和专家网络、multi-head结构、时间权重衰减以及自适应loss权重等方式,有些魔改一定提升,大家可以自行尝试,最终单模单折680+。此外,也可以进行调参练丹,比如batchsize、emb的大小等等。

3. 融合方面。模型融合的方式有很多。本场比赛我采用的是简单的加权平均。大家可以试试。同时可以按照线上每一项的实际分数(比如:NN的read较高,like较低,树模型刚好相反)进行加权平均,也会带来1到2k左右的提升。融合也是需要不断测试,门道很多,毕竟大家目前差距也就千分位。

点赞 0
收藏
评论
登录 后发表内容