• 白小姐香港六合彩\白小姐香港六合彩唯一指定网站

  • 发布时间:2016-01-19 08:09 | 作者:yc | 来源:互联网 | 浏览:1200 次
  • 白小姐香港六合彩\白小姐香港六合彩唯一指定网站

    3.注册应用ApplicationMaster首先向ResourceManager注册,标明自个发动成功,这么用户能够直接颠末ResourceManager反省应用法度榜样的运转状况,然后它将为各个任务请求本钱,并监控它的运转状况,直到运转停止,即重复进程4~7

    白小姐香港六合彩\白小姐香港六合彩唯一指定网站Hadoop YARN发动流程

    一 YARN的发动流程 650) this.width=650;" src="/e/u261/themes/default/images/spacer.gif" style="background:url("/e/u261/lang/zh-cn/images/localimage.png") no-repeat center;border:1px solid #ddd;" alt="spacer.gif" />

    650) this.width=650;" src="/html/uploads/allimg/160119/0PZ51140-1.jpg" title="yarn.png" alt="wKiom1YFDJbjpLIQAAHB6EGisFk617.jpg" />

    YARN 发动流程

    1.提交应用及其应用到的本钱 用户向YARN中(RM)提交应用法度榜样,其间包括ApplicationMaster法度榜样、发动ApplicationMaster的指令、用户法度榜样等客户端将应用法度榜样所需的文件本钱(外部字典、JAR包、二进制文件等)提交到 HDFS.

    2.发动ApplicationMaster,ResourceManager为该应用法度榜样分配第一个Container(容器),并与对应的NodeManager通讯,请求它在这个Container中发动应用法度榜样的ApplicationMasterApplicationMaster与Resoucewww.8.h499.comManager通讯,以要乞降获取本钱ApplicationMaster获取到本钱后,与对应的NodeManager通讯以发动任务要是该应用法度榜样首次在给节点上发动任务,则NodeManager首先从HDFS高低载文件缓存到本地,然后发动该任务

    注:散播式缓存并不是将文件缓存到集群中各个结点的内存中,而是将文件换到各个结点的磁盘上,以便实行任务时分直接从本地磁盘上读取文件

    4.为任务请求本钱ApplicationMaster选用轮询的措施颠末RPC协议向ResourceManager要乞降收取本钱

    5.与NM通讯发动各个任务一旦ApplicationMaster请求到本钱后,ApplicationMaster就会将发动指令交给NodeManager,请求它发动任务发动指令里包括了一些信息使得Container能够与Application Master进行通讯

    6.NM发动任务 NodeManager为任务设置好运转情况(包括情况变量、JAR包、二进制法度榜样等)后,将任务发动指令写到一个脚本中,并颠末运转该脚本发动任务(Container)

    7.实行任务 在Container内实行用户提交的代码,各个Container颠末某个RPC协议向ApplicationMaster申报自个的状况和进展,以让ApplicationMaster随时把握各个任务的运转状况,然后能够在任务掉利时从新发动任务

    8.任务状况查询 在应用法度榜样运转进程中,用户可随时颠末RPC向ApplicationMaster查询应用法度榜样确当前运转状况

    9.运转停止 应用法度榜样运转完结后,ApplicationMaster向ResourceManager刊出并封闭自个

    二 AM与RM的详细交互

    1.用户向YARN ResourceManager提交应tb通宝娱乐官网下载用法度榜样,RM收到提交请求后,先向本钱调整器请求用以发动AM 的本钱,待请求到本钱后,再由ApplicationMasterLauncher与对应的NodeManager通讯,然后发动应用法度榜样的ApplicationMaster. 2.ApplicationMaster发动完结后,ApplicationMasterLaucher会颠末工作的要领,将刚刚发动的Application Master注册到AMLiveMonitor,以发动心跳监控 3.ApplicationMaster发动后,先向ApplicatinMaterService注册,并将自个地点host、端口号等信息申报给它 4.AM运转进程中,周期性地向ApplicationMaserService答谢心跳信息(信息中包括想要请求的本钱描画) 5. ApplicationMasterService每次收到ApplicationMaster心跳信息好后,将奉告AMLivelinessMonitor更新应用法度榜样的最新答谢心跳的时候 6.应用法度榜样运转完结后,AM向AMService发送请求,刊出自个 7.AMService收到刊出请求后,标示应用法度榜样运转状况完结,一路奉告AMLivelinessMonitor移除对它的心跳监控

    三 小结

    当用户向YARN中提交一个应用法度榜样后,YARN将分两个时代运转该应用法度榜样:第一个时代是发动 ApplicationMaster;第二个时代是由ApplicationMaster创立应用法度榜样,为它请求本钱,并监控它的整个运转进程,直到运转完结

  • 相关内容

友情链接: