绵阳梓潼网站制作公司

什么是ClouderaManagementService

这篇文章给大家介绍什么是Cloudera Management Service，内容非常详细，感兴趣的小伙伴们可以参考借鉴，希望对大家能有所帮助。

创新互联，为您提供成都网站建设、网站制作、网站营销推广、网站开发设计，对服务PVC花箱等多个行业拥有丰富的网站建设及推广经验。创新互联网站建设公司成立于2013年,提供专业网站制作报价服务,我们深知市场的竞争激烈，认真对待每位客户，为客户提供赏心悦目的作品。 与客户共同发展进步，是我们永远的责任！

我会简要说明Service Monitoring (SMON)和Host Monitoring (HMON)如何与CM/CDH一起工作。

什么是Cloudera Management Service

如上图所示，我将所有CDH服务都放在一个节点中，并且全部由一个CM Agent管理，这样可以减少每个组件之间的连接线，以方便阅读。

在深入介绍这个图之前，我先解释一下图中各个组件的具体作用。

CM Server

它是Cloudera Manager的重要组成部分，它主要有以下作用：

  • 将集群的运行状态保存到数据库

  • 将每个组件的配置信息保存到数据库

  • 提供Cloudera Manager API

  • 提供Cloudera Manager Web UI

  • 管理Cloudera Manager Agent进程的心跳

  • 与各种Cloudera Management Services进行通信以提供以下功能：

    • 生成告警信息

    • 告警

    • 显示图表

    • 触发命令

    • etc…

CM Agent

每个受Cloudera Manager管理的节点上都会有这个服务，它的主要作用是：

  • 通过supervisord启动或停止进程

  • 解压缩配置并在每个主机上部署

  • 触发安装

  • 监控主机

Service Monitor (SMON)

它的主要作用是：

  • 收集有关服务的健康状况和指标信息，并在CM的Web UI上进行展示。

  • 从YARN服务中收集活动信息，以便在CM的Web UI上显示YARN的作业列表。

  • 从Impala服务中收集活动信息，以便在CM的Web UI上显示Impala的作业列表。

Host Monitor (HMON)

它的主要作用是：

  • 收集有关主机的健康状况和指标信息，并在CM的Web UI上进行展示。

现在让我们回到之前那张图来看看服务之间具体如何通信以及工作的。

什么是Cloudera Management Service

你可以看到在每个运行CDH组件的主机上都会安装CM agent，这些主机都会受Cloudera Manager管理。agent会跟踪主机上运行的所有进程比如NameNode，ResourceManager，JobHistory Server等。这是通过supervisord来实现的，supervisord是Cloudera Manager集成的第三方组件。

默认每15秒CM agent会向CM server发送一次心跳，这样CM server就会一直知道这些主机上发生了什么。例如，在某些主机上触发的诸如启动，停止或重启服务之类的动作将作为心跳的一部分发送到CM服务器，CM会将这些信息记录更新到后端的数据库，同时会发送新的指令到agent以告诉其下一步要做什么。

CM server会将所有的数据都保存到数据库中，包括每个组件的配置，每个服务和主机的状态等。大多数CM/CDH用户都会使用MySQL，PostgreSQL或Oracle作为后端的数据库，因为这几个都是被广泛使用的关系型数据库。

CM agent还会定期将主机和服务状态发送到Host Monitor和Service Monitor，这样CM就可以记录健康状态并在其Web UI上显示。如果检测到任何异常状态，CM中会触发告警并通知用户。

关于什么是Cloudera Management Service就分享到这里了，希望以上内容可以对大家有一定的帮助，可以学到更多知识。如果觉得文章不错，可以把它分享出去让更多的人看到。


网站名称：什么是ClouderaManagementService
分享网址：http://myzitong.com/article/jijiei.html

其他资讯