Scrapy教程 - (1) 安裝與創建專案
Scrapy教程 - (1) 安裝與創建專案
以Scrapy教程紀錄一下近期的學習,以便複習。使用環境為win anaconda
安裝Scrapy
如沒有創建虛擬環境,可用以下語法創建
//env_name 虛擬環境名稱
conda create --name env_name python==3.9
//並用以下語法啟用環境
conda activate env_name
//如要跳出該虛擬環境
conda deactivate env_name
啟用虛擬環境後,在anaconda下可以使用
//安裝scrapy包
pip install scrapy
創建專案
安裝好Scrapy後,可以輸入 scrapy
查看相關語法使用
//創建新專案
//project_name為專案名稱
scrapy startproject project_name
創建好專案後,可以新增爬蟲
//新建爬蟲
//spider_name為爬蟲名稱
//domain.com是將要爬取的網站的域名
scrapy genspider spider_name domain.com
新增完畢後,主檔案為scrapy.cfg所在的位置,爬蟲會在spider folder裡面
//目錄
--project_name
-scrapy.cfg
--project_name
-__init__.py
-items.py
-middlewares.py
-pipelines.py
-settings.py
--spiders
-__init__.py
-spider_name.py
簡單紀錄
这篇好文章是转载于:学新通技术网
- 版权申明: 本站部分内容来自互联网,仅供学习及演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,请提供相关证据及您的身份证明,我们将在收到邮件后48小时内删除。
- 本站站名: 学新通技术网
- 本文地址: /boutique/detail/tanhfiihkh
系列文章
更多
同类精品
更多
-
photoshop保存的图片太大微信发不了怎么办
PHP中文网 06-15 -
Android 11 保存文件到外部存储,并分享文件
Luke 10-12 -
《学习通》视频自动暂停处理方法
HelloWorld317 07-05 -
word里面弄一个表格后上面的标题会跑到下面怎么办
PHP中文网 06-20 -
photoshop扩展功能面板显示灰色怎么办
PHP中文网 06-14 -
微信公众号没有声音提示怎么办
PHP中文网 03-31 -
excel下划线不显示怎么办
PHP中文网 06-23 -
excel打印预览压线压字怎么办
PHP中文网 06-22 -
怎样阻止微信小程序自动打开
PHP中文网 06-13 -
TikTok加速器哪个好免费的TK加速器推荐
TK小达人 10-01