• 首页 首页 icon
  • 工具库 工具库 icon
    • IP查询 IP查询 icon
  • 内容库 内容库 icon
    • 快讯库 快讯库 icon
    • 精品库 精品库 icon
    • 问答库 问答库 icon
  • 更多 更多 icon
    • 服务条款 服务条款 icon

RPA影刀无需写代码抓取某东的商品信息

武飞扬头像
Python和数据分析
帮助1

大家好,我是翔宇!

有的小伙伴不会写代码,但也想采集一些数据,RPA就是一个最好的选择。今天我就带大家用RPA(影刀)无需写代码抓取某东的商品信息,主要采集到的数据有以下字段,数据达到近5000条。

采集主页(翻页采集):

学新通

采集结果:当然这里就只单纯采集了三个字段,需要更多字段原理一致。
学新通

效果【视频】
视频在csdn上传了三次都上不来,请前往同名公众号观看

  1. 思路

RPA作为办公自动化的新方案,它的功能还是比较强大的。实际上,用影刀进行抓取网页上的数据下来,它和Python中的selenium着实很像,只是selenium用写代码的方式进行自动化操作,而RPA则是不需要你写代码(也不绝对不写代码,有些功能在里面写Python代码更方便,可以对比进行使用)。

整个采集的过程,模仿人用鼠标与键盘的操作,进入到数据信息所在的页面后,通过获取元素或者同时拿到相似元素之间的文本内容的方式进行获取数据,得到字段值后,通过写入csv或者xlsx的方式写入excel表格。

  1. 实践

    2.1新建应用
    学新通

2.2 设计流程

进入到数据所在的网页
学新通

拿到第一页中想要的几个字段数据。
学新通

例如获取一页中的价格信息
学新通

获取手机标题和评论条数同样原理

将第一页的数据存进excel表

学新通

循环从第二页开始采集每一页的数据存进excel表(csv)
学新通

  1. 结束语

通过20分钟左右的抓取,将近5000条数据顺利存进excel中,总的来说,配置用了近2个小时,数据成功拿到,整体效率还是比较高,对于一般的数据抓取需求还是比较容易满足,本次实践效果已经在文章开头展现

我是翔宇,下期再见!

这篇好文章是转载于:学新通技术网

  • 版权申明: 本站部分内容来自互联网,仅供学习及演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,请提供相关证据及您的身份证明,我们将在收到邮件后48小时内删除。
  • 本站站名: 学新通技术网
  • 本文地址: /boutique/detail/tanhhabjhb
系列文章
更多 icon
同类精品
更多 icon
继续加载