评论

云开发自动化索引的设计与实现

在小程序云开发的数据库场景下,我们是否会遇到这样的问题:为什么用户总是会忘记加索引?能不能让用户无需关心这个问题,数据库自动加上索引?

作者:利开园

很多开发者都遇到类似这样的经历:一个产品功能开发测试都正常,发布上线后也正常,但是过一段后,如果有个活动或流量一大程序就突然卡了,也有可能流量正常也没搞活动,但是过一段时间后程序响应越来越慢,这个时候一般都要花很大精力去排查原因,最后发现是数据库查询没有索引导致的。流量大或数据量增加后会导致请求变慢,加上索引就正常了

在小程序云开发的数据库场景下,我们会思考为什么会出现这样的问题?为什么用户总是会忘记加索引?能不能让用户无需关心这个问题,数据库自动加上索引?

业界方案及其问题

针对这个问题,业界一般采用的是全量索引的方案:通过给所有的字段加单字段索引,引导用户主动添加多字段索引,从而实现保证所有的查询都有索引。但这样代价是会有大量的冗余索引,占用了大量的磁盘空间,而且,一些多字段的场景下,依然需要用户参与。这样的方案不能满足云开发 Cloudbase 的需求。

云开发数据库自动化索引

于是,在我们对业务进行分析后,提出了自己的解决方案 —— 分析数据并自动建立索引。我们针对系统中查询较慢的用户请求,自动分析出最佳建立索引的方式,并基于此建立索引,从而覆盖了单字段索引和多字段索引的情况。

想要理解自动建立索引,就要了解如何手动建立索引:对于单字段索引,建立起来比较简单,无论升序还是降序都是一样的。但对于多字段组合索引时,会有各种方式来建立索引,比如,三个字段的索引,就会受限制于索引是否覆盖了三个不同的字段、字段相应的升降序是否匹配,如果不匹配,可能索引就没有效果。

正因为加好索引并不简单,也证明自动加索引势在必行。在实际实现自动添加索引的需求中,我们通过筛选出耗时超过一定阈值的查询语句,从而获得需要进行优化的数据库查询,并依据数据库索引的前缀匹配规则,按照最少创建索引数量的原则,增加相应的索引,尽量让索引覆盖到所有的查询语句。为了避免添加索引导致的锁表影响用户的数据查询,我们在具体添加索引的时候,采用了异步添加索引的方式,不仅如此,我们还通过限制单个数据库增加索引的频率和数量来规避未知风险。最后,我们会定期筛选那些长时间没有被查询命中的索引,对其进行删除,确保系统不会存在太多的冗余索引影响性能。

上述自动索引的整个过程对于用户来说,都是不可见且无感知的。不过,在实际的上线过程中,大盘的数据查询整体耗时减少了 50%,用户侧的体验也发现程序速度突然变快了

总结

自动索引的方案帮助云开发 Cloudbase 解决了绝大多数的数据库查询较慢的问题,但程序总有覆盖不到的部分,对于这一部分,我们后续会在开发阶段提示增加相应的索引,以及提供慢查询日志导出和自定义告警功能,让用户感知到问题, 从而在业务逻辑上进行优化。

本分享课程视频可以在这里查看:https://cloud.tencent.com/developer/salon/live-1234

云开发(CloudBase)是云端一体化的后端云服务,采用 serverless 架构,免去了移动应用构建中繁琐的服务器搭建和运维。同时云开发提供的静态托管、命令行工具(CLI)、Flutter SDK 等能力极大的降低了应用开发的门槛。使用云开发可以快速构建完整的小程序/小游戏、H5、Web、移动 App 等应用。

产品文档:https://cloud.tencent.com/product/tcb

技术文档:https://cloudbase.net

技术交流加Q群:601134960

最新资讯关注微信公众号【腾讯云云开发】

最后一次编辑于  2020-07-03  
点赞 0
收藏
评论

2 个评论

  • 石佳宁
    石佳宁
    2021-02-24

    这个自动增加索引已经实现了吗?开发者可以看到自动增加出来的索引吗?另外慢SQL查询等功能什么时候会出来?

    2021-02-24
    赞同
    回复
  • 小肥羊🍊
    小肥羊🍊
    发表于小程序端
    2020-07-03
    图片挂了老板
    2020-07-03
    赞同
    回复
登录 后发表内容