收藏
回答

为什么禁用了爬虫,但还是有爬虫?

为什么禁用了爬虫,但还是有爬虫,只不过比没禁用之前少了许多,这样给数据造成困扰啊

{
  "rules": [
    {
      "action": "disallow",
      "page": "*"
    }
  ]
}



回答关注问题邀请回答
收藏

1 个回答

  • 刘栋
    刘栋
    2020-12-28

    是说 sitemap 的规则?你要是不想看到 console.log 里的提示,可以在project.config.json 的 setting 里把 checkSiteMap 设为 false 可以关闭SiteMap索引提示

    2020-12-28
    有用
    回复
登录 后发表内容
问题标签