收藏
回答

爬虫 mpcrawler,发出来的请求打到服务端 header 里自定义的一个 x-host 丢失

因为 header 里丢了 x-host 导致服务端没有找到正确的请求地址,因此报了404

此时客户端因为404 将发出去的请求进行了上报,发现其实是有 x-host

判断可能爬虫 mpcrawler 在请求发出去之前是不是请求头 header 中的 x-host 重写了?只有爬虫有此问题,非爬虫请求都是正常的

辛苦帮忙看一下

回答关注问题邀请回答
收藏
登录 后发表内容