• hadoop中NameNode、DataNode和Client三者之间协作关系及通信方式介绍

  • 发布时间:2016-01-13 15:25 | 作者:yc | 来源:互联网 | 浏览:1200 次
  • hadoop中NameNode、DataNode和Client三者之间协作关系及通信方式介绍

    650) this.width=650;" id="aimg_2391" src="http://www.aboutyun.com/data/attachment/forum//04/pdkpfdzpqdk3wf1m.jpg" class="zoom" width="465" height="264" alt="pdkpfdzpqdk3wf1m.jpg" />

    1)NameNode、DataNode和Client

    NameNode能够看作是散播式文件体系中的解决者,重要担负解决文件体系的命名空间、集群设置设备摆设信息和存储块的仿制等NameNode会将文件体系的Meta-data存储在内存中,这些信息重要包孕了文件信息、每一个文件对应的文件块的信息和每一个文件块在DataNode的信息等

    DataNode是文件存储的根本单元,它将Block存储在本地文件体系中,保留了Block的Meta-data,一路周期性地将统统存在的Blowww484848.comck信息发送给NameNode

    Client等于需求获取散播式文件体系文件的利用法度榜样

    2)文件写入

    Client向NameNode建议文件写入的请求

    NameNode依据文件巨细和文件块设置设备摆设状况,回来给Client它所解决有些DataNode的信息

    Client将文件划分为多个Block,依据DataNode的地址信息,按序次写入到每一个DataNode块中

    3)文件读取

    Client向NameNode建议文件读取的请求

    NameNode回来文件存储的DataNode的信息

    Client读取文件信息

    --------------------------------------------------------------------------------------------------------------------------------------------------网上百家乐试玩--------------

    通讯措施先容:

    在hadoop体系中,master/slaves/client的对应联系是:

    master---namenode;

    hadoop中NameNode、DataNode和Client三者之间协作关系及通信方式介绍

    slaves---datanode;

    client---dfsclient;

    那究竟是颠末什么样的措施进行通讯的呢,在这里从大年夜体先容一下:

    大略地讲:

    client和namenode之间是颠末rpc通讯;

    datanode和namenode之间是颠末rpc通讯;

    client和datanode之间是颠末大略的socket通讯

    随意拔一下DFSClient的代码,能够看到它有一个成员变量public final ClientProtocolnamenode;

    而再拔一下DataNode的代码,能够看到它也有一个成员变量public DatanodeProtocolnamenode

    hadoop中NameNode、DataNode和Client三者之间协作关系及通信方式介绍
  • 相关内容

友情链接: