requests发起请求时正常返回数据scrapy请求返回406或者返回数据为空亲测有效

今天测试某个平台的爬虫时使用requests正常写了个测试脚本把各种参数逆向出来以后发起请求可以正常得到数据，如图所示：

但是一摸一样的代码在scrapy中就会出现406情况，或者响应状态吗是200但是数据却为空

 

 去搜索了半天也没找到结果，后面去研究一下scrapy框架发现scrapy.requests和直接的requetsts还是有区别的，scrapy中会对headers中的accept和cookie自动处理，所以headers中的cookie要单独拿出来，还有accept也要改写，rtequests中的headers是这样的：

 应该将headers中的accept改写成这样：

 改写以后再次发起请求成功返回数据：

这篇好文章是转载于：学新通技术网