Spark 架构,计算
1.架构设计图
2.
用户交互方式
1、spark-shell:spark命令行方式来操作spark作业。
-
- 多用于简单的学习、测试、简易作业操作。
2、spark-submit:通过程序脚本,提交相关的代码、依赖等来操作spark作业。
-
- 最多见的提交任务的交互方式,简单易用、参数齐全。
3、spark-sql:通过sql的方式操作spark作业。
-
- sql相关的学习、测试、生产环境研发均可以使用该直接操作交互方式。
4、spark-class:最低层的调用方式,其它调用方式多是最终转化到该方式中去提交。
-
- 直接使用较少
5、sparkR,sparkPython:通过其它非java、非scala语言直接操作spark作业的方式。
-
- R、python语言使用者的交互方式。
三种运行方式:
1.linux 本地方式
开发环境打包:跟之前的maven打包完全一致
编写Shell运行脚本:
注意修改代码中的setMaster代码,将之前代码设置注释掉
String filePath=“file:C:/Users/USB/Desktop/SpackTest.txt”; 改为动态传参
2.集群方式
注意输入路径,应改为hdfs等分布式文件系统的路径
yarn-client等于–master设置成yarn,deploy-mode设置成client
3.yarn-cluster
注意输入路径,应改为hdfs等分布式文件系统的路径
yarn-cluster等于–master设置成yarn,–deploy-mode设置成cluster
脚本java运行:
#! /bin/sh
# 配置成hadoop配置文件存放目录
export HADOOP_CONF_DIR=/usr/hdp/3.1.0.0-78/hadoop/conf/
spark-submit \
--class com.tl.job014.spark.SparkWordCount4Java \
--master local[2] \本地
--master yarn-client \ 集群方式yarn-client运行
--master yarn-cluster \ 读取hdfs分布式文件系统
--driver-memory 512m \
--executor-memory 512m \
--num-executors 2 \
/home/zel/job014/FirstSparkWordCount4Java/FirstSpark4Java-jar-with-dependencies.jar \
file:///home/zel/job014/FirstSparkWordCount4Java/input.txt
#hdfs://cluster0.hadoop:8020/tmp/spark/input.txt
1.5 maven构建scala项目
搭建步骤
1)安装对应的maven构建scala的archetype
2)新建maven scala archetype项目
3)修改模板构建完成项目配置参数
4)运行模板自带的scala案例
5)自定义编程实现HelloWorld案例
6)package打包-不带依赖jar的打包
7)package打包-带依赖jar的all-in-one打包
在window运行jar
这篇好文章是转载于:学新通技术网
- 版权申明: 本站部分内容来自互联网,仅供学习及演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,请提供相关证据及您的身份证明,我们将在收到邮件后48小时内删除。
- 本站站名: 学新通技术网
- 本文地址: /boutique/detail/tanhgkhchb
-
用Scala编程,在Spark RDD下, 实现 WordCount 的8种方式 (1/3)
-
spark执行优化——依赖上传到HDFS二(-conf spark.yarn.dist.jars或者--jars 的使用)
-
大数据ClickHouse十九Flink 写入 ClickHouse API
-
Flink项目4 双流connect和amp;intervalJoin项目
-
ErrorError while executing topic command : Replication factor: 1 larger than available brokers: 0
-
Ubuntu上安装 Spark3.3和Scala2.13的过程
-
photoshop保存的图片太大微信发不了怎么办
PHP中文网 06-15 -
《学习通》视频自动暂停处理方法
HelloWorld317 07-05 -
word里面弄一个表格后上面的标题会跑到下面怎么办
PHP中文网 06-20 -
Android 11 保存文件到外部存储,并分享文件
Luke 10-12 -
photoshop扩展功能面板显示灰色怎么办
PHP中文网 06-14 -
微信公众号没有声音提示怎么办
PHP中文网 03-31 -
excel下划线不显示怎么办
PHP中文网 06-23 -
excel打印预览压线压字怎么办
PHP中文网 06-22 -
TikTok加速器哪个好免费的TK加速器推荐
TK小达人 10-01 -
怎样阻止微信小程序自动打开
PHP中文网 06-13