Python爬取Json数据的展示
Python教程栏目介绍爬取Json数据实例
该地址返回的响应内容为Json类型,其中红框标记的项即为AI流转率值:
实现代码如下:
import requests
import json
import csv
# 爬虫地址
url = 'https://databank.yushanfang.com/api/ecapi?path=/databank/crowdFullLink/flowInfo&fromCrowdId=3312&beginTheDate=201810{}&endTheDate=201810{}&toCrowdIdList[0]=3312&toCrowdIdList[1]=3313&toCrowdIdList[2]=3314&toCrowdIdList[3]=3315'
# 携带cookie进行访问
headers = {
'Host':'databank.yushanfang.com',
'Referer':'https://databank.yushanfang.com/',
'Connection':'keep-alive',
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36',
'Cookie':'_tb_token_=iNkDeJLdM3MgvKjhsfdW; bs_n_lang=zh_CN; cna=aaj1EViI7x0CATo9kTKvjzgS; ck2=072de851f1c02d5c7bac555f64c5c66d; c_token=c74594b486f8de731e2608cb9526a3f2; an=5YWo5qOJ5pe25Luj5a6Y5pa55peX6Iiw5bqXOnpmeA==; lg=true; sg=\"=19\"; lvc=sAhojs49PcqHQQ==; isg=BPT0Md7dE_ic5Ie3Oa85RxaMxbLK3UqJMMiN6o5VjH8C-ZRDtt7aRXb3fXGEAVAP',
}
rows = []
for n in range(20, 31):
row = []
row.append(n)
for m in range (21, 32):
if m < n 1:
row.append("")
else:
# 格式化请求地址,更换请求参数
reqUrl = url.format(n, m)
# 打印本次请求地址
print(url)
# 发送请求,获取响应结果
response = requests.get(url=reqUrl, headers=headers, verify=False)
text = response.text
# 打印本次请求响应内容
print(text)
# 将响应内容转换为Json对象
jsonobj = json.loads(text)
# 从Json对象获取想要的内容
toCntPercent = jsonobj['data']['interCrowdInfo'][1]['toCntPercent']
# 生成行数据
row.append(str(toCntPercent) "%")
# 保存行数据
rows.append(row)
# 生成Excel表头
header = ['AI流转率', '21', '22', '23', '24', '25', '26', '27', '28', '29', '30', '31']
# 将表头数据和爬虫数据导出到Excel文件
with open('D:\\res\\pachong\\tmall.csv', 'w', encoding='gb18030') as f :
f_csv = csv.writer(f)
f_csv.writerow(header)
f_csv.writerows(rows)
import csv
import json
import ssl
import urllib.request
# 爬虫地址
url = 'https://databank.yushanfang.com/api/ecapi?path=/databank/crowdFullLink/flowInfo&fromCrowdId=3312&beginTheDate=201810{}&endTheDate=201810{}&toCrowdIdList[0]=3312&toCrowdIdList[1]=3313&toCrowdIdList[2]=3314&toCrowdIdList[3]=3315'
# 不校验证书
ssl._create_default_https_context = ssl._create_unverified_context
# 携带cookie进行访问
headers = {
'Host':'databank.yushanfang.com',
'Referer':'https://databank.yushanfang.com/',
'Connection':'keep-alive',
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36',
'Cookie':'_tb_token_=iNkDeJLdM3MgvKjhsfdW; bs_n_lang=zh_CN; cna=aaj1EViI7x0CATo9kTKvjzgS; ck2=072de851f1c02d5c7bac555f64c5c66d; c_token=c74594b486f8de731e2608cb9526a3f2; an=5YWo5qOJ5pe25Luj5a6Y5pa55peX6Iiw5bqXOnpmeA==; lg=true; sg=\"=19\"; lvc=sAhojs49PcqHQQ==; isg=BPT0Md7dE_ic5Ie3Oa85RxaMxbLK3UqJMMiN6o5VjH8C-ZRDtt7aRXb3fXGEAVAP',
}
rows = []
n = 20
while n <31:
row = []
row.append(n)
m =21
while m <32:
if m < n 1:
row.append("")
else:
# 格式化请求地址,更换请求参数
reqUrl = url.format(n, m)
# 打印本次请求地址
print(reqUrl)
# 发送请求,获取响应结果
request = urllib.request.Request(url=reqUrl, headers=headers)
response = urllib.request.urlopen(request)
text = response.read().decode('utf8')
# 打印本次请求响应内容
print(text)
# 将响应内容转换为Json对象
jsonobj = json.loads(text)
# 从Json对象获取想要的内容
toCntPercent = jsonobj['data']['interCrowdInfo'][1]['toCntPercent']
# 生成行数据
row.append(str(toCntPercent) "%")
m = m 1
rows.append(row)
n = n 1
# 生成Excel表头
header = ['AI流转率', '21', '22', '23', '24', '25', '26', '27', '28', '29', '30', '31']
# 将表头数据和爬虫数据导出到Excel文件
with open('D:\\res\\pachong\\tmall.csv', 'w', encoding='gb18030') as f :
f_csv = csv.writer(f)
f_csv.writerow(header)
f_csv.writerows(rows)
导出内容如下:
这篇好文章是转载于:学新通技术网
- 版权申明: 本站部分内容来自互联网,仅供学习及演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,请提供相关证据及您的身份证明,我们将在收到邮件后48小时内删除。
- 本站站名: 学新通技术网
- 本文地址: /boutique/detail/tangbihcg
系列文章
更多
同类精品
更多
-
photoshop保存的图片太大微信发不了怎么办
PHP中文网 06-15 -
Android 11 保存文件到外部存储,并分享文件
Luke 10-12 -
word里面弄一个表格后上面的标题会跑到下面怎么办
PHP中文网 06-20 -
《学习通》视频自动暂停处理方法
HelloWorld317 07-05 -
微信公众号没有声音提示怎么办
PHP中文网 03-31 -
photoshop扩展功能面板显示灰色怎么办
PHP中文网 06-14 -
怎样阻止微信小程序自动打开
PHP中文网 06-13 -
excel下划线不显示怎么办
PHP中文网 06-23 -
excel打印预览压线压字怎么办
PHP中文网 06-22 -
photoshop蒙版画笔没反应怎么办
PHP中文网 06-24