虚拟机上安装hadoop
一、下载VMware虚拟机,并在虚拟机上安装centos7系统
具体的安装过程可见:VMware下安装centos6.7的步骤 - 还能和老板谈感情吗 - 博客园
接下来给虚拟机进行NAT设置:详情可见我上传的文件《VMware中CentOS 设置固定IP同时连接内外网》
二、hadoop环境的搭建
下载jdk 和 hadoop 放到 ~/software目录下 然后解压到 ~/app目录下
tar -zxvf 压缩包名字 -C ~/app/
配置环境变量
-
vi ~/.bashrc
-
export JAVA_HOME=/home/hadoop/app/jdk1.8.0_91
-
export PATH=$JAVA_HOME/bin:$PATH
-
export HADOOP_HOME=/home/hadoop/app/hadoop......
-
export PATH=$HADOOP_HOME/bin:$PATH
-
-
#保存退出后
-
source ~/.bashrc
进入到解压后的hadoop目录 修改配置文件
-
配置文件作用
-
修改hadoop-env.sh
-
cd etc/hadoop
-
vi hadoop-env.sh
-
#找到下面内容添加java home
-
export_JAVA_HOME=/home/hadoop/app/jdk1.8.0_91
-
修改 core-site.xml 在 <configuration>节点中添加
-
<property>
-
<name>fs.default.name</name>
-
<value>hdfs://hadoop000:8020</value>
-
</property>
-
修改hdfs-site.xml 在 configuration节点中添加
-
<property>
-
<name>dfs.namenode.name.dir</name>
-
<value>/home/hadoop/app/tmp/dfs/name</value>
-
</property>
-
<property>
-
<name>dfs.datanode.data.dir</name>
-
<value>/home/hadoop/app/tmp/dfs/data</value>
-
</property>
-
<property>
-
<name>dfs.replication</name>
-
<value>1</value>
-
</property>
-
-
修改 mapred-site.xml
-
默认没有这个 从模板文件复制
cp mapred-site.xml.template mapred-site.xml
在mapred-site.xml 的configuration 节点中添加
-
-
<property>
-
<name>mapreduce.framework.name</name>
-
<value>yarn</value>
-
</property>
-
-
修改yarn-site.xml configuration 节点中添加
-
-
<property>
-
<name>yarn.nodemanager.aux-services</name>
-
<value>mapreduce_shuffle</value>
-
</property>
来到hadoop的bin目录
cd ./hadoop namenode -format (这个命令只运行一次)
启动hdfs 进入到 sbin
-
-
./start-dfs.sh
-
启动启动yarn 在sbin中
几个要注意的地方:
- 如果你是hadoop运行模式是伪分布式,那么namenode和datanode是在同一个机器中,那么需要修改hadoop目录下的 etc/slaves文件。hadoop000设置成你的主机名,剩下的注释即可。
- 如果在操作hdfs是,显示 name node is safe,使用hdfs dfsadmin -safemode leave即可关闭安全模式。
这篇好文章是转载于:学新通技术网
- 版权申明: 本站部分内容来自互联网,仅供学习及演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,请提供相关证据及您的身份证明,我们将在收到邮件后48小时内删除。
- 本站站名: 学新通技术网
- 本文地址: /boutique/detail/tanhfhebbh
系列文章
更多
-
photoshop保存的图片太大微信发不了怎么办
PHP中文网 06-15 -
《学习通》视频自动暂停处理方法
HelloWorld317 07-05 -
word里面弄一个表格后上面的标题会跑到下面怎么办
PHP中文网 06-20 -
Android 11 保存文件到外部存储,并分享文件
Luke 10-12 -
photoshop扩展功能面板显示灰色怎么办
PHP中文网 06-14 -
微信公众号没有声音提示怎么办
PHP中文网 03-31 -
excel下划线不显示怎么办
PHP中文网 06-23 -
excel打印预览压线压字怎么办
PHP中文网 06-22 -
TikTok加速器哪个好免费的TK加速器推荐
TK小达人 10-01 -
怎样阻止微信小程序自动打开
PHP中文网 06-13