HADOOP3.3.0 安装配置
一、 配置DNS
vim /etc/hosts
192.168.2.33 hadoop01
192.168.2.34 hadoop02
192.168.2.35 hadoop03
192.168.2.36 hadoop04
二、关闭防火墙
# 关闭防火墙
systemctl stop firewalld
# 关闭自启动
systemctl disable firewalld
三、配置JDK环境
上传jdk-8u231-linux-x64.tar.gz到服务器
tar -zxvf jdk-8u231-linux-x64.tar.gz
mv jdk1.8.0_231 /opt/
# 创建软连接
ln -s /opt/jdk1.8.0_231 /opt/jdk
# 配置java环境
vim /etc/profile
# 在最后加上
# Java
export JAVA_HOME=/opt/jdk
export CLASSPATH=$JAVA_HOME/lib/
export PATH=$PATH:$JAVA_HOME/bin
# 使环境变量生效
source /etc/profile
# 验证java安装
java -version
四、搭建Hadoop完全分布式集群
1.下载hadoop
wget https://apache.website-solution.net/hadoop/common/hadoop-3.3.0/hadoop-3.3.0.tar.gz
2.配置hadoop环境变量
# 解压到opt下
tar -zxvf hadoop-3.3.0.tar.gz -C /opt/
vim /etc/profile
# hadoop
export HADOOP_HOME=/opt/hadoop-3.3.0
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop
# 保存后,使profile生效
source /etc/profile
3.配置Hadoop环境脚本文件中的JAVA_HOME参数
cd /opt/hadoop-3.3.0/etc/hadoop
#分别在hadoop-env.sh、mapred-env.sh、yarn-env.sh文件中添加或修改如下参数
vim hadoop-env.sh
vim mapred-env.sh
vim yarn-env.sh
export JAVA_HOME="/opt/jdk"
4.修改Hadoop配置文件
创建文件夹
mkdir -p /opt/hadoop/tmp
Hadoop安装目录下的etc/hadoop目录中,需修改core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml、workers
cd /opt/hadoop-3.2.0/etc/hadoop
- core-site.xml (配置Common组件属性)
<configuration>
<property>
<!-- 配置hdfs地址 -->
<name>fs.defaultFS</name>
<value>hdfs://hadoop01:9000</value>
</property>
<property>
<!-- 保存临时文件目录,需先在/opt/hadoop下创建tmp目录 -->
<name>hadoop.tmp.dir</name>
<value>/opt/hadoop/tmp</value>
</property>
</configuration>
- hdfs-site.xml (配置HDFS组件属性)
<configuration>
<property>
<!-- 主节点地址 -->
<name>dfs.namenode.http-address
这篇好文章是转载于:学新通技术网
- 版权申明: 本站部分内容来自互联网,仅供学习及演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,请提供相关证据及您的身份证明,我们将在收到邮件后48小时内删除。
- 本站站名: 学新通技术网
- 本文地址: /boutique/detail/tanhfhcefa
系列文章
更多
-
photoshop保存的图片太大微信发不了怎么办
PHP中文网 06-15 -
《学习通》视频自动暂停处理方法
HelloWorld317 07-05 -
word里面弄一个表格后上面的标题会跑到下面怎么办
PHP中文网 06-20 -
Android 11 保存文件到外部存储,并分享文件
Luke 10-12 -
photoshop扩展功能面板显示灰色怎么办
PHP中文网 06-14 -
微信公众号没有声音提示怎么办
PHP中文网 03-31 -
excel下划线不显示怎么办
PHP中文网 06-23 -
excel打印预览压线压字怎么办
PHP中文网 06-22 -
TikTok加速器哪个好免费的TK加速器推荐
TK小达人 10-01 -
怎样阻止微信小程序自动打开
PHP中文网 06-13