AppID:wx1862103c15ee0395
从小程序后台已经关闭【页面收录】
小程序代码做了如下配置(禁止所有收录):
{
"desc": "关于本文件的更多信息,请参考文档 https://developers.weixin.qq.com/miniprogram/dev/framework/sitemap.html",
"rules": [{
"action": "disallow",
"page": "*"
}]
}
但是还是源源不断的被【腾讯云】的IP爬虫访问,请问是哪里没操作对么?,部分爬虫:
IP: 81.68.172.204
UserAgent:Mozilla/5.0 (iPhone; CPU iPhone OS 13_2_2 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Mobile/15E148 MicroMessenger/7.0.8(0x17000820) NetType/4G Language/zh_CN
IP:81.68.171.181
UserAgent:Mozilla/5.0 (iPhone; CPU iPhone OS 13_2_2 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Mobile/15E148 MicroMessenger/7.0.8(0x17000820) NetType/4G Language/zh_CN
这个不是官方爬虫的ua,官方爬虫的特征是: “爬虫访问小程序内页面时,会携带特定的 user-agent "mpcrawler" 及场景值:1129”
https://developers.weixin.qq.com/miniprogram/dev/framework/search/seo.html