Scrapy item的传递

循环中的传递

错误示例：

def list_parse(self, response, **kwargs):
    item = DemoItem()
    post_list = json.loads(response.text)['rows']
    for post in post_list:
        item['pronum'] = post['ProjectCode']
        yield scrapy.Request(url=pre_url, callback=self.detail_parse, meta={'item': item})

def detail_parse(self, response, **kwargs):
    item = response.meta['item']
    print(item['pronum']

在传值item时，会出现获取到最后一个item的情况，而且是循环调用最后一个，就像是上面yield 这一部分是个for循环，但是下面的 DemoItem() 不在循环内，所以就只能一直调用到最后一个item.

修改之后的代码：

def list_parse(self, response, **kwargs):
    post_list = json.loads(response.text)['rows']
    for post in post_list:
	    item = DemoItem()
        item['pronum'] = post['ProjectCode']
        yield scrapy.Request(url=pre_url, callback=self.detail_parse, meta={'item': item})

def detail_parse(self, response, **kwargs):
    item = response.meta['item']
    print(item['pronum'])

上面修改后的代码还是无法解决问题，最终以下面的方式解决了这个问题

最终解决！！！

def list_parse(self, response, **kwargs):
    post_list = json.loads(response.text)['rows']
    for post in post_list:
	    item = {}
        item['pronum'] = post['ProjectCode']
        yield scrapy.Request(url=pre_url, callback=self.detail_parse, meta={'item': item})

def detail_parse(self, response, **kwargs):
    _item = response.meta['item']
    item = DemoItem()
    item['pronum'] = _item['pronum']
    yield item

以上解决办法主要思路即，最初的数据以 键值对 的形式 传参至回调函数中，在最终需要 yield 的时候再实例化，并赋值。

这篇好文章是转载于：学新通技术网