hadoop环境搭建一环境准备
hadoop环境搭建(一):环境准备
近期,学校开始了大数据课程,我带着学生从零到有一步一步架设大数据集群,现将具体步骤记录,以便更多初涉大数据的小白们有个参考,欢迎评论区留言讨论。
很少写博客,所以功能掌握的不够,只会简单功能,希望诸位看官见谅。
一、vmare安装
略
二、centos7安装
采用桥接模式,这样可以使用多台物理机组建网络。
三、模板hadoop虚拟机配置
1、配置
所有配置均在root用户下进行
其他用户切换到root用户:su root
,然后输入root用户密码即可。
-
配置IP:
vim /etc/sysconfig/network-scripts/ifcfg-ens33
-
配置主机名称
vim /etc/hostname
修改为:模板虚拟机名称:hadoop-czp-100
这里主机名一定不能有下划线,因为hadoop规定主机名不能出现下划线,否则启动集群会失败,切记!不要问我为什么知道?因为这个问题困扰我一整天。 -
配置主机名称映射
vim /etc/hosts
以上配置完成后,重启linux系统使配置生效。reboot
- 配置win10主机名称映射(后期使用浏览器登录要用)
在映射文件中添加如下内容:
2、安装软件补充仓库epel
yum install epel-release -y
安装过程如果出现进程锁定,可以直接关闭冲突进程即可
关闭方法:kill -9 进程号
3、关闭防火墙
因为在企业中,会使用专用硬件防火墙,所有内部主机没有必要再开启防火墙。
关闭防火墙并关闭开机自启功能
[root@hadoop-czp-1 ~]# systemctl stop firewalld
[root@hadoop-czp-1 ~]# systemctl disable firewalld
4、在系统中创建hadoop用户
因为通常不会在远程使用root用户,所以需要创建hadoop自己的用户,当然你在实验环境使用root用户也是可以的,但是在生产环境,公司是不会让你使用root用户部署集群系统的,所以还是创建个hadoop用户吧,以后其他系统也是一样,创建系统自己的用户。
[root@hadoop-czp-1 ~]# useradd haduser
[root@hadoop-czp-1 ~]# passwd haduser
更改用户 haduser 的密码 。
新的 密码:
重新输入新的 密码:
passwd:所有的身份验证令牌已经成功更新。
编辑/etc/sudoers文件,添加如下代码 ,这样使用haduser用户通过sudo命令执行root用户权限时,不用再输入自己的密码,总是就是授权haduser用户可以使用root权限。
###以root身份登录更改/etc/sudoers配置文件
[root@hadoop-czp-1 opt]# vim /etc/sudoers
### 在配置文件如下代码添加
## Allows people in group wheel to run all commands
%wheel ALL=(ALL) ALL
## 以下为新增代码
haduser ALL=(ALL) NOPASSWD:ALL
5、在/opt目录下创建两个文件夹software和module,并修改属主和属组为haduser,以备后续使用。
6、卸载虚拟机自带的JDK
虚拟机自带的JDK无法满足我们的需求,所以需要卸载,然后安装我们从官网下载的JDK1.8。
至此,模板虚拟机创建完毕。
这篇好文章是转载于:学新通技术网
- 版权申明: 本站部分内容来自互联网,仅供学习及演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,请提供相关证据及您的身份证明,我们将在收到邮件后48小时内删除。
- 本站站名: 学新通技术网
- 本文地址: /boutique/detail/tanhfhefbc
-
photoshop保存的图片太大微信发不了怎么办
PHP中文网 06-15 -
word里面弄一个表格后上面的标题会跑到下面怎么办
PHP中文网 06-20 -
《学习通》视频自动暂停处理方法
HelloWorld317 07-05 -
photoshop扩展功能面板显示灰色怎么办
PHP中文网 06-14 -
Android 11 保存文件到外部存储,并分享文件
Luke 10-12 -
微信公众号没有声音提示怎么办
PHP中文网 03-31 -
excel下划线不显示怎么办
PHP中文网 06-23 -
excel打印预览压线压字怎么办
PHP中文网 06-22 -
TikTok加速器哪个好免费的TK加速器推荐
TK小达人 10-01 -
怎样阻止微信小程序自动打开
PHP中文网 06-13