收藏
回答

小程序后台已经关闭页面收录,SiteMap也禁止收录但是还有源源不断的爬虫请求!

AppID:wx1862103c15ee0395

从小程序后台已经关闭【页面收录】

小程序代码做了如下配置(禁止所有收录):

{
  "desc""关于本文件的更多信息,请参考文档 https://developers.weixin.qq.com/miniprogram/dev/framework/sitemap.html",
  "rules": [{
  "action""disallow",
  "page""*"
  }]
}

但是还是源源不断的被【腾讯云】的IP爬虫访问,请问是哪里没操作对么?,部分爬虫:

IP: 81.68.172.204

UserAgent:Mozilla/5.0 (iPhone; CPU iPhone OS 13_2_2 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Mobile/15E148 MicroMessenger/7.0.8(0x17000820) NetType/4G Language/zh_CN

IP:81.68.171.181

UserAgent:Mozilla/5.0 (iPhone; CPU iPhone OS 13_2_2 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Mobile/15E148 MicroMessenger/7.0.8(0x17000820) NetType/4G Language/zh_CN


回答关注问题邀请回答
收藏

1 个回答

登录 后发表内容