收藏
回答

爬虫限制次数无效, qps过千, 持续3小时候, 导致小程序后台带宽被占满.

如题, 小程序爬虫会无视 后台设置的次数限制,

会无限制增加 qps, 一直到占满小程序服务器带宽为止, 期间我加了一次服务器带宽, 爬虫 qps 竟然跟着上涨

之后, 我关掉了 自动收录, 才恢复正常.

另外, 自动收录的页面也不能被搜索到.

这个爬虫真是... 恐怖....

回答关注问题邀请回答
收藏

1 个回答

  • 辞欲巧
    辞欲巧
    2020-08-18

    提供下appid

    后台设置的次数是爬虫访问页面的次数,不是qps。

    具体case我们来看一下

    2020-08-18
    有用
    回复
登录 后发表内容
问题标签