Hive文件存储格式text,orc,parquet

        hive中表的存储格式，不仅支持text文本格式，还支持其他很多格式。比如说ORC格式和parquet格式。hive在建表的时候通过stored as 指定格式，如果没有指定格式就默认为textfile格式。

        ORC和parquet是列式存储格式，底层是以二进制形式存储。数据存储效率极高，用于查询方便。

        hive默认的查询引擎是MapReduce，因此通常说的hive压缩是MapReduce压缩。压缩是指通过算法对数据进行重新编排，降低存储空间，无损压缩。

        MapReduce可以对数据在两个阶段进行压缩。

        map输出端，减少shuffle的数据量，提高shuffle时网络io的效率。

        reduce端，减少文件的大小，降低磁盘的存储空间。

        当然压缩会带来一些弊端，浪费时间，消耗CPU，内存，某些优秀的压缩算法需要钱。

        下面说明如何配置hive的压缩参数设置。

1.  
   --设置Hive的中间压缩 也就是map的输出压缩
2.  
   1）开启 hive 中间传输数据压缩功能
3.  
   set hive.exec.compress.intermediate=true;
4.  
   2）开启 mapreduce 中 map 输出压缩功能
5.  
   set mapreduce.map.output.compress=true;
6.  
   3）设置 mapreduce 中 map 输出数据的压缩方式
7.  
   set mapreduce.map.output.compress.codec = org.apache.hadoop.io.compress.SnappyCodec;
8.  
    
9.  
   --设置Hive的最终输出压缩，也就是Reduce输出压缩
10.  
    1）开启 hive 最终输出数据压缩功能
11.  
    set hive.exec.compress.output=true;
12.  
    2）开启 mapreduce 最终输出数据压缩
13.  
    set mapreduce.output.fileoutputformat.compress=true;
14.  
    3）设置 mapreduce 最终数据输出压缩方式
15.  
    set mapreduce.output.fileoutputformat.compress.codec =org.apache.hadoop.io.compress.SnappyCodec;
16.  
    4）设置 mapreduce 最终数据输出压缩为块压缩 还可以指定RECORD
17.  
    set mapreduce.output.fileoutputformat.compress.type=BLOCK;

这篇好文章是转载于：学新通技术网