收藏
回答

小程序后台—页面内容接入—基础设置—频率上线 此处设置的爬虫次数上限不生效

框架类型 问题类型 操作时间 AppID
小程序 Bug 03-31 wxffbb41ec9b99a969

频率上线已设置,但是抓取量还是半小时数十万,服务器负载比较大,对我们来说风险很高

最后一次编辑于  04-07
回答关注问题邀请回答
收藏

1 个回答

  • 阿斯顿
    阿斯顿
    04-08

    你好,爬虫侧这里查了下,最近几天每天的爬虫页面量是5~10w,十分钟级别没有超过你所设定的6944/10min,你统计的“抓取量”有可能是请求量,我们打开一个小程序页面一般会有多个请求(跟小程序实现有关),可以降低下频率上限试试,按照目前的量,可以设置每10分钟1k试试

    04-08
    有用
    回复 2
    • 孙义先
      孙义先
      星期五 15:41
      好的感谢
      星期五 15:41
      回复
    • 孙义先
      孙义先
      1天前
      您好,我们已经把每10分钟爬虫次数上限给设置成1000了,但是有时候请求量还是很大,设置是“每十分钟抓取上限”,但是基本上请求都集中在每10分钟的前3分钟,导致有时候每秒有500多的请求量。能不能优化下这块,请求的均匀一些?
      1天前
      回复
登录 后发表内容
问题标签