公告列表
公告列表
收藏
评论

为什么最近小程序用户量中出现大量的微信爬虫访问？官方

爬虫访问小程序内页面时，是否有携带特定的 user-agent：mpcrawler 及场景值：1129。

若有，那是微信的收录设置功能，具体请参考：https://mp.weixin.qq.com/wxopen/readtemplate?t=config/collection_agreement_tmpl

文档说明：https://developers.weixin.qq.com/miniprogram/dev/framework/sitemap.html

相关问答：
微信爬虫-小程序
30471浏览
最后一次编辑于  2019-12-30
知识库内容非实时更新，可能已过期、失效或不适用于当前情形，请谨慎参考
收藏
反馈

6 个评论

  • 学不进
    学不进
    2020-10-21

    为什么禁用了还是还是会有爬虫爬，只不过比没禁用之前少了许多，但还是有呀

    2020-10-21
    赞同 4
    回复
  • 洪乔
    洪乔
    2020-12-16

    可以写程序屏蔽这些爬虫吗？这些爬虫对我的系统数据统计造成干扰。

    2020-12-16
    赞同
    回复 2
    • 玉之帝
      玉之帝
      2021-02-18
      统计接口 过滤掉ua=mpcrawler的请求
      2021-02-18
      赞
      回复
    • 仓颉
      仓颉
      2023-10-26
      有没有造成系统瘫痪啊，造成了那就是入侵计算机系统了 😄
      2023-10-26
      赞
      回复
  • 塞钱箱
    塞钱箱
    2020-11-09

    下面是我们的sitemap.json部分内容

    {
  "rules": [
    // 多个allow规则配置的白名单
    {
      "action": "allow",
      "page": "page/to/path",
      "params": ["paramA", "paramB"],
      "matching": "inclusive"
    },
    // 其余页面禁止索引
    {
      "action": "disallow",
      "page": "*"
    }
  ]
}


    可是通过神策后台，我们发现还有一些不在白名单里的页面存在 “微信爬虫访问” 的场景，并且一部分页面在爬虫访问时出现异常。

    想请问一下，如何才能禁止白名单以外的页面被爬虫访问？

    2020-11-09
    赞同
    回复 1
    • 四木
      四木
      2020-12-05
      你们解决了吗？我这边也有好多新增显示为微信爬虫
      2020-12-05
      赞
      回复
  •       
          
    2020-07-21

    关于小程序场景值1129爬虫访问

    https://developers.weixin.qq.com/community/develop/doc/000ae2eb834d48fe41aa56f795b000?fromCreate=0

    官方可以回复下吗

    2020-07-21
    赞同
    回复
  • 海兰云天
    海兰云天
    2020-04-30

    我这里也是,昨天有47个, 都是爬虫进来的, 也是内网ip

    官方解释了吗


    2020-04-30
    赞同
    回复 1
    • 旅行
      旅行
      2020-05-07
      我想问一下你是怎么知道有47个通过爬虫进来的？
      2020-05-07
      赞
      回复
  • 神经蛙
    神经蛙
    2020-04-27

    爬虫会乱提交表单

    2020-04-27
    赞同
    回复
请 登录 后发表内容