win11安装hadoop3.3.2(当前最新版本
前提Java已经安装
安装准备
下载链接:链接
解压
- 将hadoop 到自己想要解压的路径下(这我解压到D盘下)
修改配置文件
- 进入etc/hadoop/下修改 core-site.xml,hdfs-site.xml,mapred-site.xml,yarn-site.xml
core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/D:/hadoop-3.3.2/data/tmp</value>
</property>
</configuration>
hdfs-site.xml
<configuration>
<!--单机启动-->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/D:/hadoop-3.3.2/data/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/D:/hadoop-3.3.2/data/datanode</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<!-- nodemanager要求的内存最低为1024 nodemanager 要求的内存最低为1G,所以value至少是1024,否则无法启动nodemanager -->
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>1024</value>
</property>
<property>
<name>yarn.nodemanager.resource.cpu-vcores</name>
<value>1</value>
</property>
</configuration>
- 修改 workers 为 localhost
- 修改hadoop-env.cmd
set JAVA_HOME=D:\java\jdk\jdk11
替换lib目录下的文件
如果您双击 winutils.exe 文件闪退,不报错,就说明没有任何问题
配置hadoop环境变量
格式化hadoop
打开命令行窗口
输入:hadoop namenode -format 看到成功的单词即可
进入hadoop的sbin目录执行start-all.cmd 没有报错后进入hadoop下的bin目录执行
看到这三个进程即可
注意: 启动可能会报时间错误,需要复制share文件夹下的时间jar到下图bin目录下即可
访问web页面
hadoop3.2以上的版本 web访问端口从原来的 50070 改为了 9870
http://localhost:9870/
http://localhost:8088/
至此hadoop3.2.2版本 已完成
这篇好文章是转载于:学新通技术网
- 版权申明: 本站部分内容来自互联网,仅供学习及演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,请提供相关证据及您的身份证明,我们将在收到邮件后48小时内删除。
- 本站站名: 学新通技术网
- 本文地址: /boutique/detail/tanhfkhibb
系列文章
更多
-
photoshop保存的图片太大微信发不了怎么办
PHP中文网 06-15 -
Android 11 保存文件到外部存储,并分享文件
Luke 10-12 -
《学习通》视频自动暂停处理方法
HelloWorld317 07-05 -
word里面弄一个表格后上面的标题会跑到下面怎么办
PHP中文网 06-20 -
photoshop扩展功能面板显示灰色怎么办
PHP中文网 06-14 -
微信公众号没有声音提示怎么办
PHP中文网 03-31 -
excel下划线不显示怎么办
PHP中文网 06-23 -
excel打印预览压线压字怎么办
PHP中文网 06-22 -
怎样阻止微信小程序自动打开
PHP中文网 06-13 -
TikTok加速器哪个好免费的TK加速器推荐
TK小达人 10-01