评论

【周周星分享(6.6第5名)】

【周周星分享(6.6第5名)】

一.从ID名字上来看,应该就可以了解到我参加比赛确实是抱着学习的目的。从另外一个角度可以看出,其实我非常菜,非常普通。恳请大家相信我这一点,换一场不同类型的深度学习比赛,我应该又会回到我应该存在的位置(很可能进不了复赛)。

二.做梦都不敢想自己能够有机会做周星星分享。在此,非常感激郭大在去年百忙之中对我的无私指导,让我得以入门学习这门学科。也非常感激在学习的路上,其他大佬给我非常多的分享和指导(比如chizhu,stary等等,在此限于篇幅不一一列举,是您们的无私指导让我学习到了很多知识)。

三.我的分享点基本上前几页的大佬都可以忽略(因为群里大佬都分享的差不多了),恳请原谅我只能以一个普通人的视角来分享一下:普通人如何入门一场深度学习的比赛(因为我也是大家中的一员,我在去年也经历了推荐比赛中连门都找不到的感觉):

1.将比赛看做一场学习,尽可能的思考自己能够获取到的学习点并尽量学以致用。多print一下实例结果看看输入输出是什么?想一想别人为何要这么做(我个人的浅见,神经网络的输入,在具体的很多操作上,仍然是必须合理才能上分)。

2.虽然神经网络可解释性稍微弱一些,但是,我们将神经网络剥离开,仍然会发现一些从我们入门决策树开始的共性,比如,加入同一个特征不同的维度信息,可能仍然是有效的。

3.如果对论文各方面都不是很快的消化(其实就是说我自己),以这场比赛为例,我们仍然可以做一些数据分析来指导我们的决策,比如,您可以看到tilte、ocr、asr合并起来的信息长度的中位数、0.75,0.9的覆盖比率长度分别是多少。那您truncate的时候就要仔细思考会导致哪些信息会被截断,你甚至还可以去理解这三个信息谁更重要。你的截断方法是不是会把重要的信息反而丢掉了更多。

4.注意您的skf划分情况是否得到正确执行,您可以在Dataset中写入一个id信息的划分结果,在后续执行程序的时候,请尝试print一部分id对比,结合集合来确保您的划分得到正确的执行。将划分后的训练集和测试集做一个占比对比,确保您的划分是真的做到了分层抽样。

5.建议可以将模型的训练结果全部存入一个日志文件中,这样方便你时刻回顾你之前做了什么,结果如何。就可以简单的记录您的问题。这非常方便您时刻回顾您上一次做了什么,避免做重复的实验。

6.最好将您的超参数都在日志中有所体现,logging包可以很方便的帮助您。因为很可能您调整了某个参数但是你忘记了导致程序跳水了,你可以复盘去查找问题。

7.要尝试做多折交叉训练,可以尝试如下的配置,可能会让您更加轻松。



8.请务必保证你的随机数都在固定的执行,比赛的前面大半部分时间你都需要做很多对比试验,那么可复现的方案将显得尤为重要。

9.预训练数据可能在某些同学的硬件上,变得难以读取,可以尝试将所有的40GB的数据,先拆分为20个左右的pickles,这样的话,当数据在Dataset中运行的时候,由于python的内存回收机制,可以读取一部分,处理一部分,回收一部分,让内存不会很容易溢出。

10.如果很容易忘记某些自己的模型或者数据上的修改尝试,可以在一个路径下新建不同的执行程序,写好自己的readme.md做记录,使用shell来切换不同的程序,保证大的修改能够很容易的切换,又不会搞坏自己辛辛苦苦做的最好的部分。

11.请做好您的尝试的笔记,尽量的细致,方便您时刻知道哪些有效,哪些无效。如果没有从我的分享读到有价值的内容或我描述有误,也恳请原谅,确实我也还需要好好学习。

12.我的结果是融合了10个基础模型的结果,因此并不足以说明什么问题。再次感谢学习的路上大家给我的真挚的无私的帮助(也厚着脸皮感谢我的家人的支持)。我也真挚的祝愿大家能够从比赛中学习到知识,如果这次没有取得好的成绩的我们,学习到一些知识也是值得的。顺便也希望大家注意身体健康,确实比赛竞争很激烈。

最后一次编辑于  2022-06-06  
点赞 1
收藏
评论

1 个评论

  • 夜
    2022-06-07

    大佬,方便透露一下你们单折是多少吗?十折真的能提升一个百吗?

    2022-06-07
    赞同
    回复
登录 后发表内容