• 517888.com,517888.com【7大老虎机平台畅玩无忧】

  • 发布时间:2016-01-12 23:01 | 作者:yc | 来源:互联网 | 浏览:1200 次
  • 517888.com,517888.com【7大老虎机平台畅玩无忧】Zookeeper的监控包孕下面几个方面:

    1、机械的CPU、内存、负载、硬盘IO运用率等根底监控,这些均能够网管体系完结;

    2、ZK日志目录地点磁盘空间监控,这能够关于性的监控;

    3、各节点的进程监控,设置设备摆设主动拉起等;

    4、各节点的毗连数监控,设置设备摆设峰值告警;

    5、各节点的Watcher数监控,设置设备摆设峰值告警;

    6、运用四字指令,对每个节点进行反省,包管进程不僵逝世;

    7、节点存活个数监控;

    Zookeeper数据及日志保护

    Zookeeper的数据文件寄存在设置设备摆设中指定的dataDir中,每个数据文件名都以snapshot最初,每个数据文件为zookeeper某个光阴数据全量快照

    QQ群,无商业广告,逐日干货电子书+视频同享

    荔枝FM手机客户端查找“挨踢脱口秀”即可订阅咱们

    视频汇总主页:http://edu.51cto.com/lecturer/index/user_id-.html

    ZooKeeper是一个漫衍式的,开放源码的漫衍式运用法度榜样折衷效劳

    Zookeeper在TDBank中的运用处景

    650) this.width=650;" src="/html/uploads/allimg/160112/2302494043-0.jpg" title="1.png" alt="wKioL1YpwLOCha7_AAEqXxMM7o4808.jpg" />

    TDBank重要运用zookeeper完结设置设备摆设解决、设置设备摆设更新奉告、节点主备容灾、节点心跳解决等运用到的模块包孕音讯中心件Tube、流式处置惩罚渠道storm、分拣基地TDSort及设置设备摆设解决基地TDManager,各模块运用zookeeper的功用如下

    Tube

    650) this.width=650;" src="/html/uploads/allimg/160112/23024a344-1.jpg" title="2.png" alt="wKiom1YpwJLjyqOkAAFDWFPXb28297.jpg" />

    咱们运用zookeeper完结Tube的master进行主、备容灾,完结master的高可用性;其余,运用zookeeper保留各花费者的花费offset信息;

    517888.com,517888.com【7大老虎机平台畅玩无忧】

    Storm

    650) this.width=650;" src="/html/uploads/allimg/160112/23024934I-3.jpg" title="3.png" alt="wKioL1YpwMqgqlWkAAC5o8vak0I547.jpg" />

    517888.com,517888.com【7大老虎机平台畅玩无忧】

    Storm的统统的状况信息都是保留在Zookeeper里边,nimbus颠末在zookeeper上面写状况信息来分配任务,supervisor,task颠末从zookeeper中读状况来收取任务,一路supervisor, task也会界说发送心跳信息到zookeeper,使得nimbus能够监控整个storm集群的状况,然后能够重启一些挂掉落的taskZooKeeper 使得整个storm集群异常的强健,任何一台功课机械挂掉落都没有联系,只需重启然后从zookeeper上面从头获取状况信息就能够了

    TDSort和TDManager

    650) this.width=650;" src="/html/uploads/allimg/160112/2302491K2-5.jpg" title="4.png" alt="wKiom1YpwLGiigLbAADEBVZK0v8485.jpg" />

    TManager和TDSort颠末zookeeper完结设置设备摆设的同享和设置设备摆设更新的奉告TDManager守时将营业设置设备摆设写入zookeeper,TDSort将从zookeeper中读取营业设置设备摆设并对数据进行分拣当TDManager对营业设置设备摆设更新后,它相同颠末zookeeper奉告TDSort更新内存中的设置设备摆设颠末zookeeper,TDBank完结几千个分拣进程同享设置设备摆设

    Zookeeper部署

    为了包管ZooKeeper效劳的安稳与靠得住性,咱们一样平常是将zk树立成一个集群来对外提供效劳,因而这儿重要先容zk集群的部署

    Zookeeper集群有一个很主要的特点:集群中的zk节点只需有过半存活,集群就能正常功课依据这个特点,主张将ZK集群的机械数量节制为奇数较为合适当集群的机械个数是3个时,准许最多一台机械宕机;当集群的机械个数是5个时,最多准许2台机械一路宕机,以此类推……当然,并不是机械个数越多越好,机械越多只管能够提供集群的吞吐量,可是带来的代价是合营性同步光阴更长,咱们能够依据营业的特点来断定机械的个数T永利娱乐平台DBank的营业场景既要吞吐量,也需求合营性同步耗时短,因而咱们运用5台机械树立集群

    断定机械的个数后,咱们下一步需求遴选机型和机械咱们主张遴选富含多块硬盘的机型,这么能够把zookeeper的数据文件和营业日志分袂放存到不一样的盘,防止两者抢占IO,影响zookeeper节点功课关于机械,要是前提准许,主张遴选的zookeeper机械漫衍在不一样机架,遴选不一样机架是为了防止机架掉落电形成zk效劳中止要是前提准许,也可测验跨机房部署,多个机房一路发生发火搭档的机率会更小的,但跨机房需求思虑收集质量,包孕收集延时及IDC中止等状况TDBank归纳自身场景,遴选了公司的TS4机型,TS4运用的法子:将11块盘中10块拆成两组,每组5块盘,分袂作软raid10,将数据文件和营业日志分袂放存到不一样的raid10组中;咱们的机械漫衍在同一个机房的5个不一样机架

    Zookeeper集群的树立进程包孕如下:

    1、装配JDK,设置设备摆设JAVA情况,实行java –version和javac –version指令来断定情况是不是OK;

    2、遴选合适的zookeeper版别,并把对应的包上传到各台机械;

    http://www.apache.org/dyn/closer.cgi/zookeeper/

    3、在各台zookeeper的conf目录下树立一个zoo.conf,在同一个集群中,各台机械的zoo.conf内容合营,内容示例如下

    650) this.width=650;" src="/html/uploads/allimg/160112/2302494M4-6.jpg" title="5.png" alt="wKiom1YpwLyRiQMUAAGddayuEmU048.jpg" />

    补白:/data0和/data1分袂归于不一样的挂载点;zoo1至zoo5分袂为5台不一样的zookeeper机械,主张运用域名,更便利保护;集群中的每台机械都需求感知整个集群是由哪几台机械构成的,在设置设备摆设文件中,能够依照这么的格局,每行写一个机械设置设备摆设:server.id=host:port:port. 关于这个id,咱们称之为Server ID,标识host机械在集群中的机械序号

    4、在每台机械树立dataDir和dataLogDir目录,一路在每台机械的dataDir下树立文件myid,文件的内容为设置设备摆设1,2,3,4…,具体值跟上面说到的ServerID合营,比如中的zoo1机械中的myid内容为1,zoo5机械中的myid内容为5

    5、至此,设置设备摆设已完结,接下来逐台发动zookeeper进程,进入%ZK_HOME%/bin,实行

    ./zkServer.sh start

    6、验证是不是发动成功,进入%ZK_HOME%/bin,实行下面指令,就能够毗连上zookeeper;

    ./zkCli.sh

    当然,也能够运用下面指令疾速断定节点的状况

    echo stat|netcat localhost 2181

    Zookeeper监控

    关于zookeeper的监控,咱们能够运用zk提供的4字指令回来的内容进行解析监控

    当然,你也能够运用taobao的开源器械TaoKeeper进行监控在zookeeper中,对数据的更新操作,包孕创立节点、更新节点内容、删去节点都邑纪录营业日志,zookeeper在完结多少次营业日志(snapCount)后会天生一次快照,把当前zk中的统统节点的状况以文件的要领dump到硬盘中,天生一个snapshot文件这儿的营业次数是能够设置设备摆设,默许是个

    Zookeeper的日志包孕两个有些,一有些是体系日志,另一有些是营业日志

    体系日志运用log4j进行解决,conf目录中有一个log4j设置设备摆设文件,该设置设备摆设文件默许没有打开翻腾输出,需求用户自个设置设备摆设,具体请参看log4j先容

    营业日志默许寄存在dataDir中,当然能够运用dataLogDir指定寄存的方位正常运转进程中,关于统统更新操作,在回来客户端“更新成功”的呼应前,ZK会包管现已将本次更新操作的营业日志写到磁盘上,只要这么,整个更新操作才会见效每触发一次数据快照,就会天生一个新的营业日志

    默许状况下,zk不会主动收拾数据文件和日志文件,因而需求解决员自个收拾咱们能够运用ZK的器械类PurgeTxnLog进行收拾,当然,咱们也能够写脚本自个保护,一路能够运用器械垂垂收拾,防止占用很多IO收拾脚本如下:

    650) this.width=650;" src="/html/uploads/allimg/160112/23024915Q-7.jpg" title="6.png" alt="wKioL1YpwPXgxDf新博娱乐官方网站yAADYoQ7_sYE618.jpg" />

    必须把稳:要是经久不收拾,切忌同一光阴运用rm指令一路删去很多文件,这么会形成IO运用率顷刻间飙升,zookeeper的毗连会出现断连或session超时,影响现网营业运用

    其余,关于每一个数据文件,它都是某一光阴的齐全快照,咱们能够守时将该文件备份,便利对数据进行回覆再起或将zookeeper直接迁移到其余一个集群

    Zookeeper常用指令

    指令行下毗连zookeeper

    bin/zkCli.sh -server zoo1:2181,zoo2:2181,zoo3:2181,zoo4:2181,zoo5:2181

    反省子节点ls /

    创立节点create /node data

    删去节点delete /node

    设置节点值,set /node data1

    指令行下毗连zookeeper并将成果打印到节制台

    bin/zkCli.sh -server zoo1:2181,zoo2:2181,zoo3:2181,zoo4:2181,zoo5:2181 get /data/test

    常用的四字指令

    四字指令的用法为echo 四字指令|netcat localhost 2181

    例如输出server的设置设备摆设信息echo conf|netcat localhost 2181

    650) this.width=650;" src="/html/uploads/allimg/160112/2302494U4-8.jpg" title="7.png" alt="wKiom1YpwNaSbrDDAAHKJQXdBuo664.jpg" />650) this.width=650;" src="/html/uploads/allimg/160112/2302494624-9.jpg" title="8.png" alt="wKioL1YpwQvxAILZAADyveUiUgg308.jpg" />

    Zookeeper优化主张

    关于zookeeper的优化,有下面几点主张:

    1、将zookeeper与其余运用分隔部署,防止互相影响;

    关于zookeeper来说,要是在运转进程中,需乞降其它运用法度榜样来角逐磁盘、CPU、收集、内存本钱,那么全体功能将会大年夜打折扣咱们在运用zookeeper前期测验将zookeeper与其余运用共用机械,在体系流量上涨后,由于IO及CPU被其余运用运用很大年夜,形成zookeeper的session经常超时甚至运用与zookeeper的毗连断开因而,主张zookeeper与其余运用分隔部署;

    2、将数据文件和营业日志分隔寄存,进步zookeeper功能;

    咱们先剖析一下磁盘对zookeeper功能的影响客户端对ZK的更新操作都是持久的,不可回退的为做到这点,ZK会将每次更新操作以营业日志的要领写入磁盘,写入成功后才会给予客户端呼应理解这点今后,你就会理解磁盘的吞吐功能关于ZK的影响了,磁盘写入速率制约着ZK每个更新操作的呼应因而,咱们在遴选机型时只管即便遴选多块硬盘的机械,ZK的营业日志输出是一个序次写文件的进程,自身功能是很高的,以是只管即便包管不要和其它随机写的运用法度榜样同享一块磁盘,只管即便防止对磁盘的角逐

    3、只管即便防止内存与磁盘空间的交流,包管设置一个合理的JVM堆巨细;

    要是设置太大年夜,会让内存与磁盘进行交流,这将使ZK的功能大年夜打折扣例如一个4G内存的机械的,要是你把JVM的堆巨细设置为4G或更大年夜,那么会使几回再三发生发火内存与磁盘空间的交流,一样平常设置成3G就能够了

    650) this.width=650;" src="/html/uploads/allimg/160112/2302495033-10.jpg" title="QQ群二维码.png" alt="wKiom1YpwO3QiuRCAADqcjpg4hg465.jpg" />

  • 相关内容

友情链接: