收藏
评论

为什么最近小程序用户量中出现大量的微信爬虫访问?官方

爬虫访问小程序内页面时,是否有携带特定的 user-agent:mpcrawler 及场景值:1129。

若有,那是微信的收录设置功能,具体请参考:https://mp.weixin.qq.com/wxopen/readtemplate?t=config/collection_agreement_tmpl

文档说明:https://developers.weixin.qq.com/miniprogram/dev/framework/sitemap.html

相关问答:
14526浏览
最后一次编辑于  2019-12-30
知识库内容非实时更新,可能已过期、失效或不适用于当前情形,请谨慎参考
收藏
反馈

6 个评论

  • 学不进
    学不进
    2020-10-21

    为什么禁用了还是还是会有爬虫爬,只不过比没禁用之前少了许多,但还是有呀

    2020-10-21
    赞同 4
    回复
  • 洪乔
    洪乔
    2020-12-16

    可以写程序屏蔽这些爬虫吗?这些爬虫对我的系统数据统计造成干扰。

    2020-12-16
    赞同
    回复 1
    • 玉之帝
      玉之帝
      02-18
      统计接口 过滤掉ua=mpcrawler的请求
      02-18
      回复
  • 萌西瓜
    萌西瓜
    2020-11-09

    下面是我们的sitemap.json部分内容

    {
      "rules": [
        // 多个allow规则配置的白名单
        {
          "action": "allow",
          "page": "page/to/path",
          "params": ["paramA", "paramB"],
          "matching": "inclusive"
        },
        // 其余页面禁止索引
        {
          "action": "disallow",
          "page": "*"
        }
      ]
    }
    


    可是通过神策后台,我们发现还有一些不在白名单里的页面存在 “微信爬虫访问” 的场景,并且一部分页面在爬虫访问时出现异常。

    想请问一下,如何才能禁止白名单以外的页面被爬虫访问?

    2020-11-09
    赞同
    回复 1
    • 四Mu
      四Mu
      2020-12-05
      你们解决了吗?我这边也有好多新增显示为微信爬虫
      2020-12-05
      回复
  • 许三千
    许三千
    2020-07-21

    关于小程序场景值1129爬虫访问

    https://developers.weixin.qq.com/community/develop/doc/000ae2eb834d48fe41aa56f795b000?fromCreate=0

    官方可以回复下吗

    2020-07-21
    赞同
    回复
  • 海兰云天
    海兰云天
    2020-04-30

    我这里也是,昨天有47个, 都是爬虫进来的, 也是内网ip

    官方解释了吗


    2020-04-30
    赞同
    回复 1
    • 旅行
      旅行
      2020-05-07
      我想问一下你是怎么知道有47个通过爬虫进来的?
      2020-05-07
      回复
  • 祁冲锋
    祁冲锋
    2020-04-27

    爬虫会乱提交表单

    2020-04-27
    赞同
    回复
登录 后发表内容