笔记Mac搭建Hadoop环境和配置

下载地址：

• apache-hadoop官网下载地址 国外源下载速度较慢
• 清华大学开源软件镜像站下载地址推荐：国内源下载速度快

---

安装步骤：

1. 将下载好的hadoop压缩包解压到目标目录：我下载hadoop-3.3.1.tar.gz解压到我的用户目录

$ tar -C  -xvf  hadoop-3.3.1.tar.gz

2. 进入hadoop目录，在里面创建以下目录

// dfs文件服务相关目录
$ mkdir /opt/hadoop/dfs;
$ mkdir /dfs/name;
$ mkdir /dfs/data;
// 临时文件存放目录
$ mkdir tmp;

3. 配置hadoop的环境变量
   

进入hadoop目录下的/etc/hadoop/里面寻找hadoop-env.sh和yarn-env.sh配置JAVA JDK

$ open hadoop-env.sh
$ open yarn-env.sh
追加以下内容
export JAVA_HOME=你的JDK安装目录

4. 配置hadoop从节点的hostname，我这里直接修改本机的/etc/hosts文件，从节点都是自己电脑（假分布式搭建）

$ open /etc/hosts

5. 修改hadoop相关配置xml

core-site.xml

//修改hdfs端口和文件缓冲区大小等相关配置
$ open core-site.xml

//修改以下配置
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:8222</value>
    </property>
    <property>
        <name>io.file.buffer.size</name>
        <value>131072</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/你的hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>hadoop.proxyuser.lestat.hosts</name>
        <value>*</value>
        </property>
    <property>
        <name>hadoop.proxyuser.lestat.groups</name>
        <value>*</value>
    </property>
</configuration>

修改hdfs-site.xml节点配置：主要改hostname

<configuration>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>master:9111</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/你的hadoop/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/你的hadoop/dfs/data</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
        <name>dfs.webhdfs.enabled</name>
        <value>true</value>
    </property>
</configuration>

修改mapred-site.xml：主要改hostname

$ open mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>master:10020</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>master:19888</value>
    </property>
</configuration>

修改yarn-site.xml：主要是改hostname

$ open yarn-site.xml

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
    <property>
        <name>yarn.resourcemanager.address</name>
        <value>master:8032</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>master:8030</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>master:8031</value>
    </property>
    <property>
        <name>yarn.resourcemanager.admin.address</name>
        <value>master:8033</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>master:8088</value>
    </property>
</configuration>

启动hadoop:

在hadoop/bin目录下执行，启动hdfs

//先执行格式化，校验一下配置是否有问题
$ hadoop namenode -format
//会警告上面命令已过期，可以使用下面这个替换
$ hdfs namenode

切换到hadoop/sbin/下，执行以下命令
master主节点启动，我这里只有一台机器看不到集群的效果

$ start-all.sh
// 查看进程
$ jps

---

启动成功

这篇好文章是转载于：学新通技术网