小程序
小游戏
企业微信
微信支付
扫描小程序码分享
爬虫访问小程序内页面时,是否有携带特定的 user-agent:mpcrawler 及场景值:1129。
若有,那是微信的收录设置功能,具体请参考:https://mp.weixin.qq.com/wxopen/readtemplate?t=config/collection_agreement_tmpl
文档说明:https://developers.weixin.qq.com/miniprogram/dev/framework/sitemap.html
6 个评论
加粗
标红
插入代码
插入链接
插入图片
上传视频
为什么禁用了还是还是会有爬虫爬,只不过比没禁用之前少了许多,但还是有呀
你好,麻烦通过点击下方“反馈信息”按钮,提供出现问题的。
可以写程序屏蔽这些爬虫吗?这些爬虫对我的系统数据统计造成干扰。
下面是我们的sitemap.json部分内容
{ "rules": [ // 多个allow规则配置的白名单 { "action": "allow", "page": "page/to/path", "params": ["paramA", "paramB"], "matching": "inclusive" }, // 其余页面禁止索引 { "action": "disallow", "page": "*" } ] }
可是通过神策后台,我们发现还有一些不在白名单里的页面存在 “微信爬虫访问” 的场景,并且一部分页面在爬虫访问时出现异常。
想请问一下,如何才能禁止白名单以外的页面被爬虫访问?
关于小程序场景值1129爬虫访问
https://developers.weixin.qq.com/community/develop/doc/000ae2eb834d48fe41aa56f795b000?fromCreate=0
官方可以回复下吗
我这里也是,昨天有47个, 都是爬虫进来的, 也是内网ip
官方解释了吗
爬虫会乱提交表单
关注后,可在微信内接收相应的重要提醒。
请使用微信扫描二维码关注 “微信开放社区” 公众号
为什么禁用了还是还是会有爬虫爬,只不过比没禁用之前少了许多,但还是有呀
可以写程序屏蔽这些爬虫吗?这些爬虫对我的系统数据统计造成干扰。
下面是我们的sitemap.json部分内容
{ "rules": [ // 多个allow规则配置的白名单 { "action": "allow", "page": "page/to/path", "params": ["paramA", "paramB"], "matching": "inclusive" }, // 其余页面禁止索引 { "action": "disallow", "page": "*" } ] }
可是通过神策后台,我们发现还有一些不在白名单里的页面存在 “微信爬虫访问” 的场景,并且一部分页面在爬虫访问时出现异常。
想请问一下,如何才能禁止白名单以外的页面被爬虫访问?
关于小程序场景值1129爬虫访问
https://developers.weixin.qq.com/community/develop/doc/000ae2eb834d48fe41aa56f795b000?fromCreate=0
官方可以回复下吗
我这里也是,昨天有47个, 都是爬虫进来的, 也是内网ip
官方解释了吗
爬虫会乱提交表单