python爬虫搭建scrapy环境，创建scrapy项目

创建文件夹 --> 打开文件夹 -->全选路径 --> 输入cmd -->按Enter
下载scrapy镜像命令

pip install -i https://pypi.douban.com/simple  scrapy

没有下载成功多下载几次即可！
创建scrapy项目命令

scrapy startproject myspider

【myspider项目名字自定义】
scrapy.cfg 项目的配置文件
spiders 自己定义的spider的文件夹
settings.py 设置文件，UA，启动管道
pipelines.py 管道，保存数据
items.py 自己预计需要爬取的内容

创建文件命令 做操作

cd myspider
scrapy genspider example example.com

【example example.com 自定义名字的.com或者.cn】

用pycharm打开刚刚创建的项目就可以写代码爬虫了

这篇好文章是转载于：学新通技术网