python爬虫——使用scrapy爬取豆瓣影评操作

 使用网站：https://movie.douban.com/review/best/

首先找到网页对应的User-Agent，在setting.py文件中进行修改

 使用xpath对元素标签定位

1.  
   import scrapy
2.  
    
3.  
   class DoubanSpider(scrapy.Spider):
4.  
   name = 'douban'
5.  
   # allowed_domains = ['www.xxx.com']
6.  
   start_urls = ['https://movie.douban.com/review/best']
7.  
    
8.  
   def parse(self, response):
9.  
   div_list = response.xpath('//*[@class="review-list chart "]/div')
10.  
    for div in div_list:
11.  
    # xpath返回的是列表，但是列表元素一定是selector类型的对象
12.  
    # extract 可以将selector对象中data参数存储的字符串提取出来
13.  
    title = div.xpath('.//*[@class="subject-img"]/img/@title')[0].extract()
14.  
    # 列表调用了extract之后，则表示将列表中每一个selector对象中data对应的字符串提取出来
15.  
    content = div.xpath('.//*[@class="main-bd"]/h2/a/text()').extract()
16.  
    # 将列表转移成字符串
17.  
    content = ''.join(content)
18.  
    # print(div.xpath('.//*[@class="main-bd"]/h2/a/text()').extract_first()) # 列表中只有一个元素可以使用extract_first
19.  
    print(title,'—————————',content)

爬取结果： 

这篇好文章是转载于：学新通技术网