如何远程提交Spark应用到集群

本篇内容主要讲解“如何远程提交Spark应用到集群”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“如何远程提交Spark应用到集群”吧!

让客户满意是我们工作的目标,不断超越客户的期望值来自于我们对这个行业的热爱。我们立志把好的技术通过有效、简单的方式提供给客户,将通过不懈努力成为客户在信息化领域值得信任、有价值的长期合作伙伴,公司提供的服务项目有:域名注册、虚拟空间、营销软件、网站建设、乐昌网站维护、网站推广。

介绍如何在集群之外提交Spark任务到集群。

Spark目前支持三种集群,分别是Spark自实现的standalone集群、mesos集群和YARN集群。

使用standalone集群,提交应用时使用–master参数指定集群地址,如 --master spark://masternode:7077

所以只需要有spark的客户端,可以很方便的远程提交应用到指定的集群。

使用mesos集群,同样是指定–master参数为集群地址,如 --master mesos://master66:5050。这种形式和standalone集群很相似,也可以很方便的通过远程来提交应用。

使用YARN集群,–master参数指定为YARN,但是要求预先设置HADOOP_CONF_DIR或者YARN_CONF_DIR的环境变量,这个环境变量指向hadoop相关配置的目录。spark客户端会读取并解析其中的配置文件,并使用其中的配置信息来连接集群管理器。

如果要在远程提交应用到Yarn集群,最简单的方式就是从集群把这些配置下载下来,然后配置环境变量。

具体可以参考资料:

  1. Remote Spark Jobs on YARN

  2. Spark submit YARN mode HADOOP_CONF_DIR contents

  3. How to submit a spark job on a remote master node in yarn client mode?

我想,或许我们可以找出spark需要的配置项,然后通过命令行的方式来指定,而不用通过配置目录的环境变量,这样我可以灵活的切换不同的集群,而我确实有这个需要。

这一个方向还有待探索。

在windows系统提交应用的示例:

1
set HADOOP_CONF_DIR=E:LOCALCLUSTERSERVICE-HADOOP-a1e7b238d7f044d6b70185654c855c52 &

到此,相信大家对“如何远程提交Spark应用到集群”有了更深的了解,不妨来实际操作一番吧!这里是创新互联网站,更多相关内容可以进入相关频道进行查询,关注我们,继续学习!


名称栏目:如何远程提交Spark应用到集群
文章源于:http://myzitong.com/article/gpidgi.html