Hive和Hadoop关系

Hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以查询和分析存储在Hadoop中的大规模数据的机制。Hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。

关于Hive的描述可以归结为这么几点来理解：

1. Hive是工具。
2. Hive可以用来构建数据仓库。
3. Hive具有类似SQL的操作语句HQL。
4. Hive是用来开发SQL类型脚本，用于开发MapReduce操作的平台。

Hive最初由Facebook开源，用于解决海量结构化日志的数据统计分析，是建立在Hadoop集群的HDFS上的数据仓库基础框架，其本质是将类SQL语句转换为MapReduce任务运行。可以通过类SQL语句快速实现简单的MapReduce统计计算，十分适合数据仓库的统计分析。

所有Hive处理的数据都存储在HDFS中，Hive在加载数据过程中不会对数据进行任何修改，只是将数据移动或复制到HDFS中Hive设定的目录下。所以Hive不支持对数据的改写和添加，所有数据都是在加载时确定的。

因此，Hive总的说来具有以下特点：

（1）Hive是一个构建在Hadoop上的数据仓库框架。

（2）Hive设计的目的是让精通SQL技能、但Java编程技能相对较弱的数据分析师能够快速进行大数据分析项目开发与应用。

Hive的能力在于直接分析通过ETL清洗过后的半结构化数据，其步骤如图1-3所示。

图1-3  非结构化数据分析步骤

Hive 构建在 Hadoop 之上，二者关系示意图如图1-4所示。

它们关系解释如下：

1. Hive对外提供CLI、Web Interface（Web接口）、JDBC、ODBC等访问接口，Hadoop提供后台存储和计算服务。
2. HQL中对查询语句的解释、优化、生成查询计划是由Hive Diver完成的。
3. 所有的数据都是存储在Hadoop的HDFS中。
4. 查询计划被转化为 MapReduce 任务，在 Hadoop 中执行（但要注意有些查询也可能没有MapReduce 任务，如：select * from table）。
5. Hadoop和Hive都是用UTF-8编码的。

图1-4  Hive与Hadoop关系