Storm单机安装的方法是什么
这篇文章主要讲解了“Storm单机安装的方法是什么”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“Storm单机安装的方法是什么”吧!
10年积累的网站制作、网站建设经验,可以快速应对客户对网站的新想法和需求。提供各种问题对应的解决方案。让选择我们的客户得到更好、更有力的网络服务。我虽然不认识你,你也不认识我。但先做网站设计后付款的网站建设流程,更有铜梁免费网站建设让你可以放心的选择与我们合作。
重点讲解:
conf.setNumWorkers(3);-------->创建的worker的进程会平均分配到storm的集群节点上的
StormSubmitter.submitTologyWithProgressBar(args[0],conf,builder.createTology());
---->args[0] --就是前面代码中的最后一个Blot的名字count
1、Storm的集群成员:
nimbus
ZK
supervisor
worker(其中有executer)
作用:
nimbus:负责接收客户端数据和调度,调度时向zk要supervisor的信息,然后根据信息调度,nimbus 和supervisor不直接通信
supervisor:负责监控下级节点的运行状态,如果supervisor挂掉,nimbus会根据zk返回的信息重新调度
worker:worker是进程,当worker拿到任务时会启动一个executor线程,然后executor线程工作
注:,nimbus负责任务调度和接收客户端数据,supervisor和worker都是进程,supervisor是管理进程,worker是工作进程,executor才是真正的工作线程。
ZK:高可用,配置信息存储在znode上
2、Strom的安装
1)、部署依赖环境 --- 要求Java 6+ 、Python 2.6.6+
2)、部署zookeeper
--3.4.5+
--zk为啥要用3.4.5,因为他支持磁盘的快照和namenode的定期删除,避免磁盘被打满。
3)、分发storm包---这里使用0.9.4版本
4)、配置storm ---修改storm.yaml配置文件
5)、启动strom
单机安装
Java,python部署 运行java -version 和 python -version验证版本
上传apache-storm-0.9.5.tar.gz
tar zxf apache-storm-0.9.5.tar.gz
cd apache-storm-0.9.5
mkdir logs
./bin/storm dev-zookeeper >> ./logs/zk.out 2>&1 &
./bin/storm nimbus >> ./logs/nimbus.out 2>&1 &
./bin/storm ui >> ./logs/ui.out 2>&1 &
./bin/storm supervisor >> ./logs/supervisor.out 2>&1 &
./bin/storm logviewer >> ./logs/logviewer.out 2>&1 &
验证: 登录地址http://node11:8080/查看
jobs --->该命令用于查看当前终端后台运行的任务。
ss -tanl ---->查看端口占用
6627 端口----》nimbus
supervisor --》不许要端口,只需要监视worker
执行此命令,感受一下storm
./bin/storm jar examples/storm-starter/storm-starter-topologies-0.9.4.jar storm.starter.WordCountTopology wordcount
storm 三节点的部署
3个节点部署Zookeeper集群(这里不做演示)
node11为nimbus,开始配置
1、将storm包解压
2、修改storm/conf/storm.yaml 配置文件,内容如下(注意,其中的空格是有用的,不能删除)
storm.zookeeper.servers:
- "192.168.47.21"
- "192.168.47.22"
- "192.168.47.23"
storm.local.dir: "/tmp/storm"
nimbus.host: "192.168.47.21"
supervisor.slots.ports:
- 6700
- 6701
- 6702
- 6703
3、在storm目录中创建logs目录
4、启动ZooKeeper集群
5、node11上启动Nimbus
$ ./bin/storm nimbus >> ./logs/nimbus.out 2>&1 &
$ tail -f logs/nimbus.log
$ ./bin/storm ui >> ./logs/ui.out 2>&1 &
$ tail -f logs/ui.log
6、节点nod12和node13启动supervisor,按照配置,每启动一个supervisor就有了4个slots
$ ./bin/storm supervisor >> ./logs/supervisor.out 2>&1 &
$ tail -f logs/supervisor.log
当然node11也可以启动supervisor
7、http://192.168.47.21:8080/
$ bin/storm jar examples/storm-starter/storm-starter-topologies-0.9.4.jar storm.starter.WordCountTopology test
8、环境变量可以配置也可以不配置
export STORM_HOME=/usr/storm
export PATH=$PATH:$STORM_HOME/bin
感谢各位的阅读,以上就是“Storm单机安装的方法是什么”的内容了,经过本文的学习后,相信大家对Storm单机安装的方法是什么这一问题有了更深刻的体会,具体使用情况还需要大家实践验证。这里是创新互联,小编将为大家推送更多相关知识点的文章,欢迎关注!
分享文章:Storm单机安装的方法是什么
转载来于:http://myzitong.com/article/pepohi.html