公告列表
公告列表
收藏
回答

小程序后台—页面内容接入—基础设置—频率上线 此处设置的爬虫次数上限不生效

框架类型 问题类型 操作时间 AppID
小程序 Bug 2021-03-31 wxffbb41ec9b99a969

频率上线已设置，但是抓取量还是半小时数十万，服务器负载比较大，对我们来说风险很高

最后一次编辑于  2021-04-07
回答关注问题邀请回答
收藏

1 个回答

  • Damon
    Damon
    2021-04-08

    你好，爬虫侧这里查了下，最近几天每天的爬虫页面量是5～10w，十分钟级别没有超过你所设定的6944/10min，你统计的“抓取量”有可能是请求量，我们打开一个小程序页面一般会有多个请求（跟小程序实现有关），可以降低下频率上限试试，按照目前的量，可以设置每10分钟1k试试

    2021-04-08
    有用
    回复 4
    • 孙义先
      孙义先
      2021-04-09
      好的感谢
      2021-04-09
      赞
      回复
    • 孙义先
      孙义先
      2021-04-13
      您好，我们已经把每10分钟爬虫次数上限给设置成1000了，但是有时候请求量还是很大，设置是“每十分钟抓取上限”，但是基本上请求都集中在每10分钟的前3分钟，导致有时候每秒有500多的请求量。能不能优化下这块，请求的均匀一些？
      2021-04-13
      赞
      回复
    • 孙义先
      孙义先
      2021-04-21
      您好，还是同样的问题，我们的爬虫次数上限已经一降再降了 再往下调跟关掉这个功能也没什么区别了 我们这里中转技术已经联系我很多次了 辛苦对这块做下优化吧
      2021-04-21
      赞
      回复
    • Never
      Never
      2021-06-15
      如果一个小程序他的特征是 每月只有特定时间才会有大量用户访问其服务 基础接口调用频率规范里规定 是统计小程序上一天的pv 来计算下一天的接口调用次数 这种情况下 这个小程序不直接歇菜了？
      一个月只有几天有大量用户访问服务 那用户肯定要重新登录吧 不可能一个月你登录状态不过期吧 你昨天都没pv 今天大量调用接口怎么解决？
      2021-06-15
      赞
      回复
请 登录 后发表内容
相关问题
相关文档
问题标签
服务器爬虫