SPARK任务是不是数据倾斜的示例分析

本篇文章给大家分享的是有关SPARK任务是不是数据倾斜的示例分析,小编觉得挺实用的,因此分享给大家学习,希望大家阅读完这篇文章后可以有所收获,话不多说,跟着小编一起来看看吧。

创新互联网站建设由有经验的网站设计师、开发人员和项目经理组成的专业建站团队,负责网站视觉设计、用户体验优化、交互设计和前端开发等方面的工作,以确保网站外观精美、网站设计、网站制作易于使用并且具有良好的响应性。

健身前后对比

健身回来的路上,看到微信群里聊技术,一群有问了一个神奇的问题,具体可以看如下截图:

SPARK任务是不是数据倾斜的示例分析

哥们给出的结论是repartition导致的数据倾斜,我给他详细的回复了说明了不是数据倾斜。那么接下来,我们就仔细分析一下原因。

为了大家更彻底的了解这块内容,文章底部也录制了一个小视频。

SPARK任务是不是数据倾斜的示例分析

那哥们数是repartition导致的数据倾斜原因,是由于前三行数据输入和输出都是好几百兆,而后面的都是只有几个MB的输入,0B输出,所以下结论是数据倾斜。

浪尖纠正他是错的原因是数据倾斜往往指的是同一个stage内部:有的task数据量大,有的task数据量小,task间数据量大小差距比较大,而这个明显不是。这个是executor的页面,可以看complete task列,会发现前三行占据了几乎所有task执行,完成的task数是其余的十几二十倍。这个就是导致前三行输入输出数据量比较大的原因。

数据本地性是导致这个问题的根本原因。由于数据本地性task调度会优先调度到数据所在的executor机器,假如机器executor存在执行中的task会等待一个时间,在这个时间内task执行完,新task会直接调度到该executor上。如此往复,导致executor处理的task差距比较大。

官网给出了关于spark调度task的时候数据本地性降级的等待时间配置。

SPARK任务是不是数据倾斜的示例分析

很简单,将3s设置为0s,然后结果就是task不会等待数据本性降级,就立即调度执行。

其实,根源还是kafka 创建topic的时候 partition数目没有够。单个parition的吞吐量是可以达到数万qps,但是结合业务逻辑,不同的数据输出位置,吞吐量会急剧下降,所以topic分区数,应该根据处理逻辑和落地位置,磁盘数,综合考虑设置。

以上就是SPARK任务是不是数据倾斜的示例分析,小编相信有部分知识点可能是我们日常工作会见到或用到的。希望你能通过这篇文章学到更多知识。更多详情敬请关注创新互联行业资讯频道。


本文名称:SPARK任务是不是数据倾斜的示例分析
当前链接:http://myzitong.com/article/ijpisj.html