Python爬虫重定向问题scrapy.downloadermiddlewares.redirect] DEBUG: Redirecting (302)

1，问题描述

爬取的时候需要填入验证码，使用工具填写完验证码后获得了cookie传给第二层链接，但爬第三层链接的时候，重定向到了验证码页面

2，猜测

可能是因为cookie没有传给第三层

3，解决

请求时，加入cookie，cookies=self.cookies_dict，同时加入dont_filter=True

作用：dont_filter=True 参数，这样 Scrapy 就不会过滤掉重复的请求。

yield scrapy.Request(url=items['url'], callback=self.get_details, cookies=self.cookies_dict, meta={"items": copy.deepcopy(items)}, dont_filter=True)

这篇好文章是转载于：学新通技术网