发现当访问了小程序webview页面后,就会有一些奇怪的访问日志。该页面尚未对外发布,且我也只是在体验版中通过webview访问这个h5页面
那么怎么会出现下面的访问日志,经过观察后,一旦访问webview h5后,它就会不规律的爬这个h5页面。
这个是小程序的爬虫行为吗?
"Mozilla/5.0 (Linux; Android 4.4.4; HUAWEI ALE-CL00 Build/HuaweiALE-CL00; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/53.0.2785.49 Mobile MQQBrowser/6.2 TBS/043024 Safari/537.36 MicroMessenger/6.5.4.1000 NetType/4G Language/zh_CN" "61.151.178.166"
不是官方爬虫。爬虫访问小程序内页面时,是否有携带特定的 user-agent:mpcrawler 及场景值:1129。