scrapy使用文件管道FilesPipeline下载视频

1.爬虫文件

1.  
   class MeiShiSpider(scrapy.Spider):
2.  
   name = 'meishi'
3.  
   allowed_domains = ['百度.com']
4.  
   start_urls = ['https://tieba.百度.com/f?kw=美食']
5.  
    
6.  
   def parse(self, response):
7.  
   # 获取视频地址在网页的数据范围
8.  
   data = re.findall(r'(<ul id="thread_list".*?)<div class="thread_list_bottom clearfix">', response.text, re.S)[0]
9.  
   # 获取一页中的所有的视频地址
10.  
    video_urls = re.findall(r'data-video="(.*?)"', data)
11.  
    for url in video_urls:
12.  
    item = {}
13.  
    # 从视频地址中提取出文件名与格式
14.  
    item['name'] = url.split('?')[0].split('/')[-1]
15.  
    item['url'] = url # 视频地址
16.  
    yield item

2.管道文件

1.  
   from scrapy.pipelines.files import FilesPipeline
2.  
    
3.  
   # 自定义一个类，继承FilesPipeline这个父类
4.  
   class VideoDownloadPipeline(FilesPipeline):
5.  
    
6.  
   def get_media_requests(self, item, info):
7.  
   # 依次对视频地址发送请求，meta用于传递视频的文件名
8.  
   yield scrapy.Request(url=item['url'], meta={'name': item['name']})
9.  
    
10.  
    def file_path(self, request, response=None, info=None, *, item=None):
11.  
    filename = request.meta['name'] # 获取视频文件名
12.  
    return filename # 返回下载的视频文件名
13.  
     
14.  
    def item_completed(self, results, item, info):
15.  
    return item

3.设置文件

1.  
   USER_AGENT = UserAgent().random # 随机请求头
2.  
   LOG_LEVEL = 'WARNING' # 设置日志级别
3.  
   FILES_STORE = r'G:\视频' # 保存视频文件的文件夹
4.  
   CONCURRENT_REQUESTS = 3 # 设置并发数
5.  
   DOWNLOAD_DELAY = 1 # 设置下载延时
6.  
   COOKIES_ENABLED = False # 关闭cookie
7.  
   ITEM_PIPELINES = {
8.  
   'video.pipelines.VideoDownloadPipeline': 300, # 打开管道
9.  
   }

后面执行爬虫即可

这篇好文章是转载于：学新通技术网