Hive调优技巧

1.Fetch抓取

set hive.fetch.task.conversion=more(默认)
1

Fetch 抓取是指,Hive 中对某些情况的查询可以不必使用 MapReduce 计算。
该属性设置为 more 以后,在全局查找、字段查找、limit 查找等都不走 MapReduce。 设置为none后所有类型的查找语句都要走MapReduce;

创新互联公司坚持“要么做到,要么别承诺”的工作理念,服务领域包括:成都网站制作、网站设计、外贸网站建设、企业官网、英文网站、手机端网站、网站推广等服务,满足客户于互联网时代的广灵网站设计、移动媒体设计的需求,帮助企业找到有效的互联网解决方案。努力成为您成熟可靠的网络建设合作伙伴!

2.本地模式

set hive.exec.mode.local.auto=true(开启本地模式)
1

Hive 可以通过本地模式在单台机器上 处理所有的任务。对于小数据集,执行时间可以明显被缩短
1.开启本地模式后需要设置local mr的最大输入数据量,当数据量小于这个值时采用local mr的方式

set hive.exec.mode.local.auto.inputbytes.max=134217728(默认)
1

2.开启本地模式后需要设置local mr的最大输入文件个数,当数据量小于这个值时采用local mr的方式

set hive.exec.mode.local.auto.input.files.max=4(默认)
1

3.表的优化

3.1小表join大表 (小表需要在左边.)

注:新版的 hive 已经对小表 JOIN 大表和大表 JOIN 小表进行了优化。小表放在左边和右边已经没有明显区别

3.2大表join大表

当一个表内有许多空值时会导致MapReduce过程中,空成为一个key值,对应的会有大量的value值, 而一个key的value会一起到达reduce造成内存不足;所以要想办法过滤这些空值.
1.通过查询所有不为空的结果

   insert overwrite table jointable select n.* from 
   (select * from nullidtable where id is not null ) n left join ori o on n.id = o.id;
12

2.查询出空值并给其赋上随机数,避免了key值为空

insert overwrite table jointable
select n.* from nullidtable n full join ori o on 
case when n.id is null then concat('hive', rand()) else n.id end = o.id;
123

注:此方法可以解决数据倾斜的问题

3.3MapJoin

如果不指定 MapJoin 或者不符合 MapJoin 的条件,那么 Hive 解析器会将 Join 操作转换成 Common Join,即:在 Reduce 阶段完成 join。容易发生数据倾斜。可以用 MapJoin 把小 表全部加载到内存在 map 端进行 join,避免 reducer 处理。

设置MapJoin

set hive.auto.convert.join = true(默认)
1

大表小表的阀门值设置(默认25M以下认为是小表):

 set hive.mapjoin.smalltable.filesize=25000000;
1

3.4Group BY

默认情况下,Map 阶段同一 Key 数据分发给一个 reduce,当一个 key 数据过大时就倾斜了并不是所有聚合都在reduce端完成,很多聚合操作都可以现在Map端进行部分聚合,最后在Reduce段得到结果

开启Map端聚合参数设置
是否在Map段进行聚合,默认为true

hive.map.aggr = true
1

在Map端进行聚合操作的条目数

hive.groupby.mapaggr.checkinterval = 100000
1

有数据倾斜的时候进行负载均衡(默认是false)

hive.groupby.skewindata = true
1

注:当选项设定为 true,生成的查询计划会有两个 MR Job。第一个 MR Job 中,Map 的输出结果会随机分布到 Reduce 中,每个 Reduce 做部分聚合操作,并输出结果,这样处理的结果是相同的 Group By Key 有可能被分发到不同的 Reduce 中,从而达到负载均衡的目的;第二个 MR Job 再根据预处理的数据结果按照 Group By Key 分布到 Reduce 中(这个过程可以 保证相同的 Group By Key 被分布到同一个 Reduce 中),最后完成最终的聚合操作。

3.5Count(Distinct)去重统计

Count Distinct是使用了一个mapreduce ,当数据较少时无影响当数据较大时 只使用一个MapReduce将很难完成job。这是需要用到分组 Group BY 会使用2个MapReduce完成因为设置了 set mapreduce.job.reduces = 5; 所以第一个MapReduce的过程是通过一个map和5个reduce来完成这样减轻了reduce的负载, 虽然会多用一个 Job 来完成,但在数据量大的情况下,这个绝对是值得的。

3.6行列过滤

  • 列处理: 在select中,只拿需要的列,尽量使用分区过滤,少用select*
  • 行处理: 在分区剪裁中,当使用外关联时,如果将副表的过滤条件写在where后面那么就会先全表关联,之后再过滤。

实例:
1.测试先关联两张表,再用 where 条件过滤

hive (default)> select o.id from bigtable bjoin ori o on o.id = b.idwhere o.id <= 10;
1

2.通过子查询后,再关联表

hive (default)> select b.id from bigtable b join (select id from ori where id <= 10 ) o on b.id = o.id;
1

3.7.动态分区

关系型数据库中,对分区表 Insert 数据时候,数据库自动会根据分区字段的值,将数据插入到相应的分区中,Hive 中也提供了类似的机制,即动态分区(Dynamic Partition),只不过,使用 Hive 的动态分区,需要进行相应的配置。
首先要设置的属性

set hive.exec.dynamic.partition = true;
set hive.exec.dynamic.partition.mode = nonstrict;
set hive.exec.max.dynamic.partitions = 1000;
set hive.exec.max.dynamic.partitions.pernode = 100;
set hive.exec.max.created.files = 100000;
set hive.error.on.empty.partition = false;
123456

模拟动态分区

 insert overwrite table ori_partitioned_target partition (p_time)
select id, time, uid, keyword, url_rank, click_num, click_url, p_time from ori_partitioned;
12

4.数据倾斜

4.1合理设置Map数

设置切片值

set mapreduce.input.fileinputformat.split.maxsize=???
1

4.2小文件进行合并

在 map 执行前合并小文件,减少 map 数:CombineHiveInputFormat 具有对小文件进行
合并的功能(系统默认的格式)。HiveInputFormat 没有对小文件合并功能。

set hive.input.format= org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;
1

4.3复杂文件增加Map数

 set mapreduce.job.maps =???
1

4.4合理设置Reduce数

1.调整reduce的个数方法一
每个Reduce处理的数据默认是256MB

hive.exec.reducers.bytes.per.reducer=256000000
1

每个任务最大的reduce数,默认为1009

hive.exec.reducers.max=1009
1

计算reduce数的公式

N=min(参数2,总输入数据量/参数1)
1

2.调整reduce个数的方法二

set mapreduce.job.reduces=???
1

3.reduce个数不是越多越好

  • 过多的启动和初始化 reduce 也会消耗时间和资源;
  • 另外,有多少个 reduce,就会有多少个输出文件,如果生成了很多个小文件,那么如果这些小文件作为下一个任务的输入,则也会出现小文件过多的问题;在设置 reduce 个数的时候也需要考虑这两个原则:处理大数据量利用合适的 reduce 数;使单个 reduce 任务处理数据量大小要合适;

4.5并行执行

通过设置参数 hive.exec.parallel 值为 true,就可以开启并发执行。不过,在共享集群中,需要注意下,如果 job 中并行阶段增多,那么集群利用率就会增加。

set hive.exec.parallel=true; //打开任务并行执行
set hive.exec.parallel.thread.number=16; //同一个 sql 允许最大并行度,默认为 8。

本文题目:Hive调优技巧
浏览路径:http://myzitong.com/article/ighcgo.html