评论

6.14周周星(第二名)分享

6.14周周星(第二名)分享

1. 关于打比赛的动力:确实是因为失恋了才来打比赛,但是更重要的是希望秋招能找到工作吧,暑期实习真的被面怕了(0 offer)。

2. 关于比赛经验的分享:真的是小白,这次能到前排很大程度是运气好。

   2.0 分数高的原因和第一名相同,也是融的。

   2.1 模型上我用的基于mmoe的nn模型,目前单模单折能到0.671左右(需要靠线上试最好的epoch),K折融合之后提升非常大,能到0.678+,但是这个K呢需要大家自己去试,就不透露了。

   2.2  特征工程这块儿感觉没什么心意,都是之前比赛开源的里面摘的一些。之前大佬的分享里有三个开源的,里面有一些很有用的东西,建议仔细学习代码。其实特征工程这块儿还是有很多东西可以做的,尤其是使用树模型的选手,可能比较依赖这个,而且构造的dense特征怎么和nn模型结合起来发挥更大的作用,也是nn选手需要尝试的,我也在探索中。

   2.3 我还尝试了把mmoe中的gate换成attention,有提升,大家也可以尝试一下。

   2.4 多任务学习有个非常难的地方就是不同任务之间的平衡,目前的权重是手动设置的(靠试),也尝试了其他调整loss的方法,收益不大。

   2.4 nn的波动非常大,同样方式构造的不同种子的两份数据,线上效果可能会差个0.002,但是直接取平均收益就会很大。

   2.5 正样本非常稀疏,如何采样让nn能学到东西非常非常关键。

能和各位大佬们同台竞技非常荣幸,如有讲的不对的地方还请大家多多指正,祝大家多多上分!

点赞 1
收藏
评论

3 个评论

  • 缦旋律
    缦旋律
    2021-06-15

    大佬您好~我毕业论文准备写这个方向,不知道之后能不能向您请教一下呢!(万分感谢!)

    2021-06-15
    赞同
    回复 3
    • 通利夫尼亚囧妹
      通利夫尼亚囧妹
      2021-06-16
      我也是小白 写论文还是多看看paper吧 比赛都是trick
      2021-06-16
      回复
    • 缦旋律
      缦旋律
      2021-06-16回复通利夫尼亚囧妹
      嗯嗯,在看了,但是可能自己比较菜,,,还是想多看看大佬的经验。不知道比赛结束之后能不能分享一下代码喃...(在线卑微.jpg)
      2021-06-16
      回复
    • 通利夫尼亚囧妹
      通利夫尼亚囧妹
      2021-06-27
      比赛结束会开源的 会在知乎上同步 知乎id:通利福尼亚囧妹
      2021-06-27
      回复
  • 樛木
    樛木
    2021-06-15

    作者您好,请问您在2.2中说的特征工程大佬的分享里有三个开源代码,想问一下是哪一篇文章呀?

    2021-06-15
    赞同
    回复 1
  • 青寒
    青寒
    2021-06-14

    加油!

    2021-06-14
    赞同
    回复
登录 后发表内容