大数据资源如何管理-创新互联

Hadoop集群资源管理器是什么?它是如何为上层应用提供资源管理和调度的呢?我们一起来看Apache Hadoop YARN的引入,为集群在利用率、资源统一管理和数据共享等方面带来的巨大好处。

让客户满意是我们工作的目标,不断超越客户的期望值来自于我们对这个行业的热爱。我们立志把好的技术通过有效、简单的方式提供给客户,将通过不懈努力成为客户在信息化领域值得信任、有价值的长期合作伙伴,公司提供的服务项目有:申请域名雅安服务器托管、营销软件、网站建设、桃源网站维护、网站推广。

从开发人员来讲提交作业(应用)到YARN集群,通过YARN的UI来监控和管理作业。Hadoop给开发员提供了三种主要YARN工具:(1)Hue Job Browser;(2)YARN Web UI;(3)YARN命令。YARN管理员可以使用Cloudera Manager,包含在Cloudera Express和ClouderaEnterprise中,对开发人员也有一些帮助。下面我们一起来看具体组件的作用:

(1)Hue Job Browser:可以监控作业状态查看日志杀掉作业大数据资源如何管理

(2)YARN Web UI:Resource Manager UI是主要的入口点,运行在RM主机的8088端口,相比Hue,提供了更多明细视图(可以查看每一个应用下面的任务,任务里面有多少attempt,以及一些日志情况),但是它不提供任何控制或者配置。在这里我们看一下YARN Web UI的类别:

1)Resource Manager UI:Nodes

大数据资源如何管理

2)Resource Manager UI:Applications

大数据资源如何管理

3)ResourceManager UI:Application Detail大数据资源如何管理

(3)YARN命令行

1)通过命令配置和查看关于YARN集群的信息

a)yarn

2)大多数YARN命令行工具是为管理员而不是开发员准备的

3)一些对开发员有用的命令

b)yarn application,使用-list来查看运行的应用,使用-kill来杀掉运行的应用.

c)yarn logs –applicationId,查看特定应用的日志

(4)Cloudera Manager

Cloudera Manager提供了强大地从单个节点监控和配置集群的能力大数据资源如何管理

YARN作为Hadoop的资源管理器,给集群的资源管理与共享带来了便捷,但是我们必须明确YARN 在实际应用中的特点,才能够更好的掌握和应用。大数据由于当下发展的需要,给每一位想要从事或者已经从事大数据的人员提供了机遇和挑战,我们不仅要多方位思考总结,还要借鉴和学习别人的经验,不断地改善自己的知识架构,才会取得更大的进步。平时可以关注“大数据cn”这样的微信资讯平台,上面分享的大数据相关知识对于我们从业者来说,很新颖独特,对开阔我们的视野,拓展我们的知识面,激发我们的思维都有着很好地帮助作用!

另外有需要云服务器可以了解下创新互联scvps.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。


分享文章:大数据资源如何管理-创新互联
文章网址:http://myzitong.com/article/csegjo.html