Hadoop项目规划:硬件-创新互联
规划硬件我们主要介绍两个方面:一个是Master怎么规划,一个是Slave怎么规划,选择是不一样的。其他规划诸如容量以及操作系统的选择也会简单介绍,对于了解Hadoop的操作环境有着重要帮助作用。
你所需要的网站建设服务,我们均能行业靠前的水平为你提供.标准是产品质量的保证,主要从事成都网站设计、成都做网站、企业网站建设、移动网站建设、网页设计、品牌网站建设、网页制作、做网站、建网站。创新互联建站拥有实力坚强的技术研发团队及素养的视觉设计专才。首先我们看一下Slave,它是用来存储数据然后进行计算的,在选择配置的时候通常要优先考虑处理器。我们知道Hadoop的核心并不是在单台机器上进行多复杂的运算,它是分布式的,所以对于处理器的要求并不高,那么选择中等的数据器就可以(比如:2*6核2.9主频)。
至于内存方面,要尽可能给高一点,中端给到256GB RAM,高端的给到512GB RAM。网络方面中端给到1GB以太网,高端的给到10GB以太网。这里重点要讲的是磁盘驱动,16*3TB SATA驱动(中端的),24*1TB SAS驱动(高端的),我们发现越高端磁盘越多,访问效率也就越高。在磁盘驱动这里也会涉及到一个概念Non-RAID,大家了解一下,具体可以自己去挖掘。
交换机使用专用的网络设施,Hadoop将会使资源饱和,节点都连接到机架交换机,机架之间通过核心交换机通信。
接下来我们重点强调Master节点,Master没有业务数据,不需要计算,但是Master存储有源数据,所以Master节点很重要,在使用机器的时候如果条件允许,最好选择高端的机器,运营商级别的硬件,双电源、以太网卡,所有的模块都做冗余。它配置有Raid,因为Master上面就是源数据,数据没有拷贝。20个节点以下集群配置64GB RAM,300个节点以下集群配置96GB内存,更大的集群配置128GB内存。
至于容量规划以及操作系统的选择,我们不做过多的说明,了解就可以。容量规划我们重点考虑复本机制和临时空间,以及服务器本身需要的空间。在这里我们必须清楚Hadoop自动使用新节点,很多集群开始很小(少于10个节点),并随着数据和处理的增长而增长,Hadoop集群可以增长到上千个节点。而操作系统一般选择擅长管理的发行版,也可以了解一下几个:CentOS:面向服务器,而不是工作站;RedHat企业版linux;Ubuntu非常流行的发行版;使用LTS(长期支持)的版本;SuSE在欧洲非常流行的发行版。
以上就是根据自己的经验对Hadoop硬件环境做的一个介绍,如果有什么不清楚的,比如Non-raid,可以自己去找资源充电。我平常也喜欢看一些别人分享的学习知识,从而弥补自己知识体系的欠缺,比如“大数据时代学习中心”。另外喜欢看一些实际的大数据案例,试着去分析案例中的问题,不断提升自己调用知识的能力,比如“大数据cn”,大家共勉,一起进步。
另外有需要云服务器可以了解下创新互联scvps.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。
当前标题:Hadoop项目规划:硬件-创新互联
浏览地址:http://myzitong.com/article/djpcig.html