公告列表
公告列表
收藏
回答

mpcrawler 爬虫请求太频繁了，如何控制？

页面接入内容里面有个频率上限已经设置了100次/10分钟，但是爬虫还是特别猛，10分钟访问了上万次，是这个配置有bug吗？

最后一次编辑于  2021-01-28
回答关注问题邀请回答
收藏

1 个回答

  • Cjiang
    Cjiang
    2021-01-28

    你好，从哪里看出的爬虫请求太频繁呢？

    2021-01-28
    有用
    回复 4
    • null
      null
      发表于移动端
      2021-01-28
      我从我们后端nginx访问日志看到的，请求的ua带了mpcrawler，前天中午11点就已经设置了100次/10分钟，但是每天凌晨3点 4点 11点 14点这几个时间点都有大量爬虫请求
      2021-01-28
      赞
      回复
    • Cjiang
      Cjiang
      2021-01-29回复null
      你好，麻烦提供下appid。
      2021-01-29
      赞
      回复
    • null
      null
      发表于移动端
      2021-01-29回复Cjiang
      wxee2bebb7048588ab
      2021-01-29
      赞
      回复
    • null
      null
      2021-02-05回复Cjiang
      请问有没有结论呢
      2021-02-05
      赞
      回复
请 登录 后发表内容
相关问题
相关文档
问题标签
sitemapmpcrawler