获得过 0 次赞
回答过的问题获得 0 次赞
分享过的文章/案例获得 0 次赞
评论与回复获得 0 次赞
- 小程序后台关闭页面收录,开发设置的sitemap 为全部索引,还会有很多爬虫数据?
小程序后台关闭的页面记录,开发设置的sitemap 为全部索引,会有很多爬虫数据,是需要开发设置sitemap 为不索引? 微信小程序的爬虫数据,除了来源于页面收录,还会来源于其他地方吗? [图片] [图片]
2020-06-04 - 小程序,页面内容收录,已经设置爬虫频率上限为1000次/日,但是不生效?
打开了页面收录开关,一开始没有设置上限,发现爬虫爬得太狠,最高峰到了单日7800多次访问量。于是设置了限频,每日爬虫的次数上限为1000。 但实际上,每天还是在以5000次左右的频次在爬。这个限制频次,好像没有生效啊。 大家遇到过这种情况吗?
2020-01-08