书籍1 大数据Hadoop+spark+Flink2

第二章是搭建IDEA开发环境和Linux虚拟机

这章的内容较少，但需要花费的时间较长，毕竟都是实操部分
首先是搭建IDEA开发环境
每一个IT开发人员都得有一个合适的开发工具，IDEA是大数据开发的首选，在Windows上安装IDEA，然后构建Maven项目。

1. 最首先的还是安装JDK，因为大数据开发的很多地方都是得需要用到Java的。
   具体的安装和环境配置这里不再说明。
2. Maven的安装与配置
   这是专门用于构建和管理Java相关项目的工具。使用它有两点好处，1是Maven管理的Java项目都有着相同的项目结构；二是便于统一维护jar包
3. IDEA的安装与配置
   全称Intellij IDEA，是进行Java编程的集成环境
4. 虚拟机的搭建，这个在之前的学习中就已经搭建完毕，这里不再赘述。

第三章基于Hadoop构建大数据平台

大数据项目得运行在大数据平台之上，而构建Hadoop集群是构建大数据平台的核心。
前文也说过，至少得先安装部署三个集群，分别是HDFS、YARN、和zookeeper集群。

3.1 Zookeeper分布式协调服务

编写单机的应用比较简单，但是编写分布式应用就比较困难，主要是因为会出现部分失败。部分失败就是在网络节点中传输时，如果网络错误就无法得知消息是否传递成功。zookeeper是一个分布式应用的协调服务，他可以对部分失败进行正确处理（不是避免）。
zookeeper提供一些服务给分布式应用，分布式应用可以基于此构建出更高级的服务，比如分布式锁、配置管理、分布式消息队列、分布式通知与协调服务等等。
zookeeper的基本架构
zookeeper服务自身组成了一个集群，其中有两种角色，主节点leader和从节点follower。前者负责投票的发起和决议，更新系统状态；后者接受客户端请求并向客户端返回结果。
工作原理
zookeeper就是原子广播，就是对zookeeper上的所有主机发送数据包，由此保证了各个服务器间的数据同步。
zookeeper集群工作前的准备工作
首先准备好Hadoop三个节点，zookeeper是由Java编写的，运行在JVM上，所以zookeeper的节点得先安装JDK的运行环境。

• 配置hosts文件，方便集群间通过hostname相互通信
• 时钟同步
• SSH免密登录
• 安装JDK

3.2 HDFS分布式文件系统

HDFS是Hadoop的核心子项目
他是分布式计算中数据存储的基础，是基于流式数据访问和处理超大文件需求而开发的。
背景：他出现的背景也很简单，就是数据量太大了，大到一个操作系统管辖的范围内存储不下，所以需要分配到更多的操作系统管理的磁盘中存储，但是这样会导致数据的管理和存储不方便，HDFS应运而生。
能力：有4个，分别是能够存储大量数据；能够支持流计算；数据有一致性，不易修改；硬件故障时能快速应对。
系统架构通常是建立在由网络连接起来的一组计算机组成的集群上。不同的计算机（或者叫节点）都有着不同的分工。比如：
NameNode：主节点NN
SecondaryNameNode：备用节点
DataNode：从节点DN
HDFS客户端
以上部分是一个HDFS最基本的架构。一个主节点，一个备用节点，至少一个从节点，和若干客户端。

那么HDFS具体是储存在哪的呢？

实际上数据文件被切分成数据块（Block），然后均匀的放在DN的节点当中，再通过NN来进行管理。

这篇好文章是转载于：学新通技术网