Scrapy框架爬虫项目
在学习了scrapy框架之后,有了些许收获,这里将本次小项目写下来。
一 首先进入pycharm终端控制台,(一开始我还在命令行里面,后来发现这样方便一点。)
scrapy startproject 项目名
cd 项目名\ 项目名\spiders
scrapy genspider -t crawl xxx 域名
二 编写xxx.py
(编写xxx.py之前要在items.py里面增加一些值)
items.py
xxx.py
上面导入item那个虽然标红,但不会影响最终爬虫文件,可以置之不理。
现在在终端下面就可以查看运行结果
scrapy crawl xxx
三 将爬虫保存为(json 和 csv 格式)
首先在settings打开管道
(第一个本来就是有的,后面两个需要在pipelines里面创建新的类,完成保存)
编写pipelines文件
csv格式
json 格式
保存数据库需要在settings里面添加数据库的配置
(自己的数据库用户,密码,库名记得更改,这里我是MySQL5.7版)
继续编写pipelines文件
最后在终端运行一下scrapy crawl xxx
这里我试了几次所以有多个文件,
这篇好文章是转载于:学新通技术网
- 版权申明: 本站部分内容来自互联网,仅供学习及演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,请提供相关证据及您的身份证明,我们将在收到邮件后48小时内删除。
- 本站站名: 学新通技术网
- 本文地址: /boutique/detail/tanhgfiekh
系列文章
更多
同类精品
更多
-
photoshop保存的图片太大微信发不了怎么办
PHP中文网 06-15 -
《学习通》视频自动暂停处理方法
HelloWorld317 07-05 -
Android 11 保存文件到外部存储,并分享文件
Luke 10-12 -
word里面弄一个表格后上面的标题会跑到下面怎么办
PHP中文网 06-20 -
photoshop扩展功能面板显示灰色怎么办
PHP中文网 06-14 -
微信公众号没有声音提示怎么办
PHP中文网 03-31 -
excel下划线不显示怎么办
PHP中文网 06-23 -
excel打印预览压线压字怎么办
PHP中文网 06-22 -
怎样阻止微信小程序自动打开
PHP中文网 06-13 -
TikTok加速器哪个好免费的TK加速器推荐
TK小达人 10-01