我搜索之前的问题，发现在过去可以在小程序后台通过设置禁止收录来避免爬虫，现在后台找不到这个设置了，请问是否只能通过在sitemap.json里写如下内容避免爬虫？

"rules": [{
    "action": "disallow",
    "page": "*"
  }]