评论

云开发数据库如何做大批量数据清洗?

云开发数据库如何做大批量数据清洗?总结自己的一点小心得,期望大佬指点交流。

小程序日常运维中,不可避免对已有的数据进行清洗。

本人也遇到过很多这种情况,有客户提出各种奇怪的想法,虽然不想干,但架不住给钱了,只能硬着头皮上。

我这边简单总结了几种,方法都比较蛋疼,拿出来说主要为了抛砖引玉,热切期盼有大佬来指点迷津。


方法一:使用开发者工具的数据库操作工具。

这个方法的缺点是:支持的能力太弱,只能做批量累加/累减等这类简单的需求,无法做复杂的逻辑判断。


方法二:使用云函数。

这个方法的缺点是没办法直接在指定环境里直接运行云函数(据我了解),需要使用触发器或者从小程序端触发。

触发器我还没试过,但肯定额外的操作成本,感觉就比较麻烦。

小程序端的问题是,发起请求运行云函数有超时限制,一次只能处理少量数据,需要写一个循环不断运行处理。


方法三:导出数据JSON文件,在外面写脚本处理完,再导回去。

这个方法是我目前觉得最方便的,而且也方便对改完的数据做验证,万一出错了不会直接影响数据库。

以上是我曾经用过的方法,但每一种都有一些多余的操作步骤,理想中,能只需要写代码就能完成清洗是最好的。

最后一次编辑于  06-22  
点赞 0
收藏
评论

1 个评论

  • 老张
    老张
    06-22

    一般在小程序端写脚本,权限设为自定义双true

    06-22
    赞同
    回复
登录 后发表内容