收藏
回答

小程序访问webview中h5后,会有爬虫爬该页面吗?

发现当访问了小程序webview页面后,就会有一些奇怪的访问日志。该页面尚未对外发布,且我也只是在体验版中通过webview访问这个h5页面

那么怎么会出现下面的访问日志,经过观察后,一旦访问webview h5后,它就会不规律的爬这个h5页面。

这个是小程序的爬虫行为吗?

"Mozilla/5.0 (Linux; Android 4.4.4; HUAWEI ALE-CL00 Build/HuaweiALE-CL00; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/53.0.2785.49 Mobile MQQBrowser/6.2 TBS/043024 Safari/537.36 MicroMessenger/6.5.4.1000 NetType/4G Language/zh_CN" "61.151.178.166"
回答关注问题邀请回答
收藏

1 个回答

  • PD.新城คิดถึง
    PD.新城คิดถึง
    2021-06-05

    不是官方爬虫。爬虫访问小程序内页面时,是否有携带特定的 user-agent:mpcrawler 及场景值:1129。

    2021-06-05
    有用
    回复 1
    • 哈哈
      哈哈
      2021-06-05
      官方说不爬webview中内容,但收到的日志 显示ua信息,明显不是正常用户,ip段也比较集中,但如果我不主动访问webview内容,就不会有爬虫痕迹
      2021-06-05
      回复
登录 后发表内容