使用浏览器控制台实现爬虫

使用浏览器控制台实现爬虫

提到爬虫,自动化大家第一印象就是Python,Java...等等等以及其它高级语言 但是我今天就以浏览器控制台来实现这些操作

前言

提示：首先我们要认识什么是爬虫以及自动化

例如：爬虫可以把网页上的内容获取下来，存到你想要的地方，这个工具就是爬虫。自动化可以模拟人类操作网页从而代替人类解决重复性的工作

一、JavaScript是什么？

示例：您会经常看到 document.getElementById(“some id”)。这个方法是 HTML DOM 中定义的。

DOM (Document Object Model)（文档对象模型）是用于访问 HTML 元素的正式 W3C 标准。
二、使用步骤

1.使用控制台实现爬虫

通过class选择器获取元素内容我们就以我要个性网为例代码如下（示例）：

/*首先通过class选择器获取到根元素因为使用的是getElementsByClassName所以返回的是一个数组但是只有一个所以需要指定取值,
第几个随和逐步缩小范围最后使用getAttribute通过获取指定title的值*/
let dome = document.getElementsByClassName("m-class-list")[0].getElementsByClassName("m-txt f-mr-4 f-mr-top-4")
 for(let i= 0; i<dome.length;i  ){
 console.log(dome[i].getElementsByClassName("u-t-content")[0].getElementsByClassName("f-333")[0].getAttribute("title")
 );
}

2.自动操作网页

获取元素改变输入框属性值在获取按钮元素单击代码如下（示例）：

document.getElementsByClassName("s_ipt")[0].value="搜索内容";
document.getElementsByClassName("bg s_btn")[0].click();//单击

这篇好文章是转载于：学新通技术网