收藏
回答

mpcrawler 爬虫请求太频繁了,如何控制?

页面接入内容里面有个频率上限已经设置了100次/10分钟,但是爬虫还是特别猛,10分钟访问了上万次,是这个配置有bug吗?

最后一次编辑于  2021-01-28
回答关注问题邀请回答
收藏

1 个回答

  • Cjiang
    Cjiang
    2021-01-28

    你好,从哪里看出的爬虫请求太频繁呢?

    2021-01-28
    有用
    回复 4
    • null
      null
      发表于移动端
      2021-01-28
      我从我们后端nginx访问日志看到的,请求的ua带了mpcrawler,前天中午11点就已经设置了100次/10分钟,但是每天凌晨3点 4点 11点 14点这几个时间点都有大量爬虫请求
      2021-01-28
      回复
    • Cjiang
      Cjiang
      2021-01-29回复null
      你好,麻烦提供下appid。
      2021-01-29
      回复
    • null
      null
      发表于移动端
      2021-01-29回复Cjiang
      wxee2bebb7048588ab
      2021-01-29
      回复
    • null
      null
      2021-02-05回复Cjiang
      请问有没有结论呢
      2021-02-05
      回复
登录 后发表内容
问题标签