1. 关于打比赛的动力:确实是因为失恋了才来打比赛,但是更重要的是希望秋招能找到工作吧,暑期实习真的被面怕了(0 offer)。
2. 关于比赛经验的分享:真的是小白,这次能到前排很大程度是运气好。
2.0 分数高的原因和第一名相同,也是融的。
2.1 模型上我用的基于mmoe的nn模型,目前单模单折能到0.671左右(需要靠线上试最好的epoch),K折融合之后提升非常大,能到0.678+,但是这个K呢需要大家自己去试,就不透露了。
2.2 特征工程这块儿感觉没什么心意,都是之前比赛开源的里面摘的一些。之前大佬的分享里有三个开源的,里面有一些很有用的东西,建议仔细学习代码。其实特征工程这块儿还是有很多东西可以做的,尤其是使用树模型的选手,可能比较依赖这个,而且构造的dense特征怎么和nn模型结合起来发挥更大的作用,也是nn选手需要尝试的,我也在探索中。
2.3 我还尝试了把mmoe中的gate换成attention,有提升,大家也可以尝试一下。
2.4 多任务学习有个非常难的地方就是不同任务之间的平衡,目前的权重是手动设置的(靠试),也尝试了其他调整loss的方法,收益不大。
2.4 nn的波动非常大,同样方式构造的不同种子的两份数据,线上效果可能会差个0.002,但是直接取平均收益就会很大。
2.5 正样本非常稀疏,如何采样让nn能学到东西非常非常关键。
能和各位大佬们同台竞技非常荣幸,如有讲的不对的地方还请大家多多指正,祝大家多多上分!
大佬您好~我毕业论文准备写这个方向,不知道之后能不能向您请教一下呢!(万分感谢!)
作者您好,请问您在2.2中说的特征工程大佬的分享里有三个开源代码,想问一下是哪一篇文章呀?
加油!