收藏
回答

大家是否有遇到大量官方爬虫请求?

我们小程序在10-23 17:25到10-23 19:25的两个小时内收到微信官方爬虫78万多次的请求。

这么打的请求量并发量是正常的爬虫吗?

而且还不只一次,官方能回答下吗?

回答关注问题邀请回答
收藏

3 个回答

  • 猛男陈阔
    猛男陈阔
    2020-10-27

    是的 爬虫会携带一个特殊的请求参数

    2020-10-27
    有用 2
    回复
  • 老张
    老张
    2020-10-27

    sitemap关掉就行了。

    2020-10-27
    有用
    回复
  • Admin ²º²⁴
    Admin ²º²⁴
    2020-10-27

    有的,正常抓取页面收录。

    会抓取页面访问的接口。正常现象


    2020-10-27
    有用
    回复
登录 后发表内容
问题标签