Spark 下载安装配置文档 (spark-2.4.8-bin-hadoop2.7.tgz)

下载安装配置spark:
官网地址：https://archive.apache.org/dist/spark/

上传spark-2.4.8-bin-hadoop2.7.tgz 
解压tar -zxvf spark-2.4.8-bin-hadoop2.7.tgz -C /opt/moudel/
重命名mv spark-2.4.8-bin-hadoop2.7 spark-2.4.8
配置环境变量 vim /etc/profile
#SPARK_HOME
export SPARK_HOME=/opt/moudel/spark-2.4.8
export PATH=$PATH:$SPARK_HOME/bin

执行source /etc/profile使命令生效

以下在master节点进行
进入/usr/local/spark-2.4.8-bin-hadoop2.7/conf
vi workers
workers内容为：
192.168.10.131
192.168.10.132

修改spark-defaults.conf
cp spark-defaults.conf.template spark-defaults.conf
vi spark-defaults.conf
添加：
#Spark主节点所在机器及端口
spark.master                     spark://192.168.10.130:7077
#是否打开任务日志功能
spark.eventLog.enabled           true
#任务日志默认存放位置
spark.eventLog.dir               hdfs://192.168.10.130:8020/spark-logs
#存放历史应用日志文件的目录
spark.history.fs.logDirectory     hdfs://192.168.10.130:8020/spark-logs

修改spark-env.sh
cp spark-env.sh.template spark-env.sh
vi spark-env.sh
spark webui与Zookeeper有端口冲突，修改为8085
添加：
JAVA_HOME=/usr/java/jdk1.8.0_281-amd64
HADOOP_CONF_DIR=/usr/local/hadoop-3.1.4/etc/hadoop
SPARK_MASTER_IP=master
SPARK_MASTER_WEBUI_PORT=8085
SPARK_MASTER_PORT=7077
SPARK_WORKER_MEMORY=512m
SPARK_WORKER_CORES=1
SPARK_EXECUTOR_MEMORY=512m
SPARK_EXECUTOR_CORES=1
SPARK_WORKER_INSTANCES=1

启动集群，在HDFS中新建目录：
hdfs dfs -mkdir /spark-logs

将Spark安装包分发到其他节点
scp -qr /opt/moudel/spark-2.4.8-bin-hadoop2.7/ slave1:/opt/moudel/
scp -qr /opt/moudel/spark-2.4.8-bin-hadoop2.7/ slave2:/opt/moudel/

启动spark
进入/opt/moudel/spark-2.4.8/sbin
执行
./start-all.sh

查看客户端
http://master:8085

关闭spark集群
./stop-all.sh

这篇好文章是转载于：学新通技术网