• 世爵娱乐to88.com_世爵娱乐to88.com官方网站》》》

  • 发布时间:2016-01-13 06:18 | 作者:yc | 来源:互联网 | 浏览:1200 次
  • 世爵娱乐to88.com_世爵娱乐to88.com官方网站》》》

    10、完结上面的能够进行无秘钥登录:ssh Slaver1、ssh Slaver2,ssh Master,退出当前用户能够直接用exit

    11、要是在历程6的6.4需求暗码,则说明无秘钥登录设置掉利,法子等于卸载ssh,在从头装配,从6在从头开始,卸载前要先封闭sshd效劳:sudo stop ssh,然后实行:

    sudo apt-get autoremove openssh-server

    sudo apt-get autoremove openssh-client,

    一路要删去.ssh文件目录:sudo rm -rf .ssh,最佳重启一下,然后从历程5从头开始

    本教程是在三台电脑上部署的hadoop正式情况,没有树立用户组,而是在当前用户下直接进行集群的部署的,总结如下:

    1、三个节点的主机电脑名为:192.168.11.33 Master,192.168.11.24 Slaver2,192.168.11.4

    Slaver1,并且这三台主机用户名都要设置相同,我的都是hadoop的用户

    由于本教程运用的是vim编辑器,要是没有vim能够下载一个:sudo apt-get install vim

    2、修正hosts文件:切换到root用户下:sudo -s,然后输入暗码,vim /etc/hosts,颠末vim把三个电脑的主机名和ip地址都加进去,ip在前,主机名在后:

    192.168.12.32 Master

    192.168.12.24 Slaver2

    192.168.12.4 Slaver1

    3、修正主机的名称,也是在root用户下,vim /etc/hostname,把三个主机的姓名分袂于上面的Master,Slaver1,Slaver2,对应,一个机械对应一个主机名,不能把三个都放进去

    4、在Ubuntu中反省ip地址的指令为:ifconfig

    5、装配ssh,在装配ssh之前,重要要更新下载Ubuntu软件的源:sudo apt-get update

    装配ssh: sudo apt-get install ssh

    反省sshd效劳是不是发动:ps -e | grep ssh ,要是出现 1019 ?00:00:00 sshd这么的信息,注解ssh现已发动要是没有发动,则输入:/etc/init.d/ssh start或许sudo start ssh,进行发动

    6、设置ssh的无秘钥登录,这个不需求再root用户下进行,不然不是在当前用户下,则不能进行无秘钥登录的设置

    6.1、ssh-keygen -t rsa ,然后一贯按回车键

    6.2、上述操作停止后,会在当且用户下有一个躲藏文件夹.ssh,能够颠末:ls -al进行反省

    里边的文件有:id_rsa,id_rsa.pub

    6.3、进入.ssh目录下:cd .ssh,然后实行:cat id_rsa.pub >> authorized_keys(此文件刚开始时不存在.ssh目录中的),实行完往后,会主动天生一个authorized_keys文件

    6.4、然互在.ssh下直接登录:ssh localhosts,不出意外的话,将成功登录并且不需求输入暗码,登录完结后,在.ssh下会天生一个known_hosts的文件

    7、上面的三个主机都要实行6的操作

    8、设置节点之间的无秘钥登录,设置设备摆设Master对Slaver1和Slaver2的无秘钥登录,把Master的id_rsa.pub仿制到Slaver1和Slaver2节点上,在Slaver1和Slaver2节点上的.ssh目录下分袂实行如下指令:

    scp hadoop@Master:~/.ssh/id_rsa.pub ./master_rsa.pub

    cat master_rsa.pub >> authorized_keys

    9、完结以上操作时,在Slaver1和Slaver2上分袂实行这么的操作,即完结三个机械彼此之间都要完结无秘钥登录,由于在hadoop中,主节点和从节点之间要进行通讯,namenode需求解决datanode,并且datanode也要想namenode发送状况信息,来看护namenode自个的状况,一路datanode之间也要进行通讯,在数据的仿制中和存储中,hadoop的把数据分红三个副本进行存储,在仿制中,是从前一个datanode获取数据,放到当前的datanode中,以是要完结三个节点之间的彼此通讯

    12、装配java jdk,在当前用户下树立一个目录:sudo mkdir Java,这么不是在root用户下进行的,而是在本用户下进行装配的

    12.1 解压: tar zxvfjkd名称-C(大年夜写)/Java

    12.2 把Java目录中的文件名改为:jdk8:sudo mv jdk名称jdk8

    12.3 设置设备摆设文件java道路:vim ~/.bashrc在文件的终极参加下面的内容

    export JAVA_HOME = /home/hadoop/Java/jdk8

    export JRE_HOME =${JAVA_HOME}/jre

    export CLASSPATH=.:{JAVA_HOME}/lib:${JRE_HOME}/lib

    export PATH=${JAVA_HOME}/bin:$PATH

    12.4 退出后,实行:source ~/.bashrc使其当即见效

    12.5 反省jdk是不是装配成功:java -version,要是出现java的版别等信息,则说明装配成功

    13、装配hadoop,在主机Master进行hadoop的装配和设置设备摆设,然后把此hadoop仿制到Slaver1和Slaver2上,这么的一种装配只管说不是最优的,可是对付初学者来说,是最便利的,当慢慢深化hadoop的进修时,能够在依据不相同的机械以及功能,对hadoop进行调优

    13.1 把hadoop解压到用户确当前目录中:tar -zxvf/Downloads/hadoop压缩文件,压缩文件后边没有跟任何的道路,就会在用户下当前目录树立一个解压的hadoop目录

    13.2 修正hadoop的文件名:mvhadoop名称hadoop

    13.3 设置设备摆设profile文件:vim /etc/profile:

    export HADOOP_INSTALL =/home/hadoop/hadoop

    export PATH = $PATH:${HADOOP_INSTALL}/bin

    13.4 进入hadoop目录中:cd hadoop,然后输入:source /etc/profile 从而使方才设置设备摆设的文件见效

    14、Hadoop设置设备摆设文件的设置设备摆设,由于hadoop1.x和hadoop2.x运用了不相同的本钱解决,在hadoop2.x增添了yarn来解决hadoop的本钱,一路hadoop的文件目录hadoop1.x和hadoop2.x仍是有比较大年夜的不合的,本教程选用的是hadoop2.7.0,在这儿自个多说一句,有许多人主张对付初学者而言,最佳运用hadoop0.2.0这么的版别来进行进修;自个主张没有需要这么,由于hadoop是在赓续成长,说白了咱们进修hadoop的意图是为了往后在事情中能够运用,如今公司平日都把自个的hadoop集群进级到hadoop2.x的安稳版别了,并且hadoop0.2.0与如今的hadoop版别有了很大年夜的差异;对付懂得hadoop的进修时有必定的帮忙,可是没有需要非要从头开始进修,能够直接进修hadoop2.x,也能够不费太大年夜的力气就能够学会的,并且hadoop2.x的书籍中,对之前的版别是会有先容的,并且材料也比较的多

    14.1 进入到hadoop的设置设备摆设文件(这个是hadoop2.7.0版其余文件安排):

    cd /hadoop/etc/hadoop

    运用:ls,能够看到许多的设置设备摆设信息,重要咱们设置设备摆设core-site.xml

    14.2 设置设备摆设hadoop的core-site.xml: vim core-site.xml,

    在尾部增添真人真钱网上娱乐:

    fs.defaultFS

    hdfs://192.168.12.32:9000 //这个必定要用主机的ip,在eclipse的设置设备摆设中需求用到这个在eclipse链接hadoop将会谈到,暂时这么来进行设置设备摆设

    hadoop.tmp.dir

    /home/hadoop/hadoop/temp

    在依照上面的设置设备摆设时,上面的注释必定要去掉落啊

    14.3 设置设备摆设hadoop的hdfs-site.xml:vim hdfs-site.xml

    dfs.namenode.secondary.http-address

    192.168.12.32:50090

    true

    dfs.namenode.name.dir

    /home/hadoop/hadoop/temp/dfs/name

    //其间home为根目录,第一个hadoop是我树立的hadoop用户,第二个hadoop是装配hadoop时,树立的hadoop文件名,这个是设置临时文件确当地,当在初始化文件体系后,咱们会在咱们装配的hadoop道路下望见有一个temp的目录,这个道路的设置,咱们能够依据各自的喜好进行设置,可是设置好后,自个往后能找到啊~~

    true

    dfs.datanode.data.dir

    /home/hadoop/hadoop/temp/dfs/data

    true

    dfs.replication

    2 //由于自个是三台机械,能够设置2个副本,当两个谋略机2时,要设置为1

    当咱们在设置设备摆设时,必定要把//后边的注释去掉落啊~~

    14.4 设置设备摆设mapred-site.xml,这个文件开始时不存在的,重要需求从模板中仿制一份:

    cp mapred-site.xml.template mapred-site.xml

    要是存在这个文件,就不必运用这个操作啦

    然落后行mapred-site.xml的设置设备摆设:vim mapred-site.xml

    mapreduce.framework.name

    yarn

    14.5 设置设备摆设yarn-site.xml :vim yarn-site.xml

    yarn.resourcemanager.hostname

    Master //这个是主机名

    yarn.nodemanager.aux-services

    mapreduce_shuffle

    14.6 设置设备摆设slaves文件:vim slaves

    Slaver1

    Slaver2

    15、设置设备摆设hadoop-env.sh文件,在此文件中有一个导入java的目录,可是用#给注释掉落啦,去掉后进#,然后,把方才装配的jdk8目录放在后边:export JAVA_HOME=/home/hadoop/Java/jdk8

    16、仿制hadoop到Slaver1和Slaver2上:

    scp -r ./hadoop Slaver1:~

    scp -r ./hadoop Slaver2:~

    17、由于咱们历程13的设置设备摆设,把hadoop的bin参加到shell指令中,因而在当前目录下就能够运用hadoop指令了啊:

    17.1 款式化文件体系:hadoop namenode -formate

    会显现多行的设置设备摆设,在倒数5行摆布,要是看到sucessfull等字,说明款式化成功

    17.2发动hdfs:start-dfs.sh

    17.3 发动yarn:start-yarn.sh

    17.4 反省是不是发动成功:jps,要是在Master上出现四行提示信息:

    5399 Jps

    5121 ResourceManager

    3975 SecondaryNameNode

    ubuntu14.04环境下hadoop2.7.0配置+在windows下远程eclipse和hdfs的调用4752 NameNode

    则注解发动成功,显现的序次和左面的数字能够不相同,

    在Slaver上要是出现三行提示信息:

    4645 Jps

    4418 DataNode

    4531 NodeManager

    则注解成功;要是在Slaver上,datanode无法发动,大概是由于曾经配过伪散播式的hadoop集群,能够试着把方才设置设备摆设的temp文件夹给删去掉落,从头进行款式化:hadoop namenode -format,在进行发动,该当能够运用啦

    17.5 这个时分,咱们就能够用hadoop的shell指令来进行操作了啊:

    hadoop dfs -ls

    这个大概会出现同伴提示’ls’ ‘.’:no file or directiory

    这个时分咱们能够试试:hadoop dfs -ls /,就不会出现同伴了啊

    树立目录:

    hadoop dfs -mkdir /user

    hadoop dfs -mkdir /user/hadoop

    Hadoop dfs -mkdir /user/hadoop

    Hadoop dfs -mkdir /user/hadoop/input

    Hadoop dfs -mkdir /user/hadoop/output

    完事往后,就会出现三级目录了,然后树立一个文本,来运转一下wordcount法度榜样:

    Vim a.txt,在里边随意写一下器械:

    Hadoop

    Hadoop

    Aaa

    Aaa

    Spark

    Spark

    然后把这个传到hdfs上:hadoop dfs -copyFromLocal a.txt /user/hadoop/input/a.txt

    运转wordcount法度榜样:

    hadoop jar hadoop/share/hadoop/mapreduce/hadop-mapreduce-examples-2.7.0.jar wordcount /user/hadoop/input/a.txt /user/hadoop/output/wordcount/

    反省运转的成果:hadoop dfs -cat /user/hadoop/output/wordcount/part-r-00000,就能够看到单词的谋略

    18、静态ip的设置:网上有许多的对付静态ip的设置,自个找了一个,依照上面的教程法子,成果把Master主机上的右上角的上网图标给弄没有了啊,并且有些还上不了网啊,花费了一个下昼的时候,总算弄理解了啊设置持久性的静态ip,需求三个历程,设置设备摆设三个文件即可

    18.1 设置静态ip:sudo vim /etc/network/interfaces,会有如下信息:

    auto lo

    iface lo inet loopback

    注释掉落:#ifacelo inet loopback

    增添:

    auto eth0

    iface eth0 inet static

    address 192.168.12.32ip地址

    netmask 255.255.255.0 子网掩码

    gateway 192.168.12.1网关

    network 192.168.0.0

    broadcast 192.168.11.255播送

    然后保存退出

    18.2 设置设备摆设DNS效劳器,这个网上有许多,对付这个的设置设备摆设,可是当咱们重启Ubuntu后,又康复默许的设置设备摆设,致使无法正常上网,因而咱们需求设置持久的DNS效劳器:

    sudo vim /etc/resolvconf/resolv.conf/base

    在里边增添:nameserver202.96.128.86DNS效劳器(这个是我的DNS地址),要是不知道自个的DNS效劳,能够从windows中的收集中反省,网上有许多放法,这儿就不多说了啊

    然后保存退出

    18.3 设置设备摆设Networkmanager.conf文件

    sudo vim /etc/NetworkManager/NetworkManager.conf

    里边的managed=false,要是是false,则需求把它改为true,不然不加修正,保存退出

    18.4 必定如果从头发念头器,要是发念头器时,无法上网,则需求看18.3,的文件是不是是false,需求悛改来,再重启机械就能够上网了啊

    19、上面是对付正式情况的集群,现已树立成功;然后咱们平日不会再Master长进行开拓的,咱们需求在windows情况下的eclipse进行开拓,并在eclipse进行测验,因而,咱们下面需求做得等于在windows7+eclipse下www.weide.com构建hadoop的开拓情况;

    19.1、下载eclipse的hadoop组件,由于hadoop2.x往后,Apache就不在提供eclipse的hadoop组件,只提供源码,咱们需求自个构建我是从网高低载一个eclipse的hadoop组件

    要是选用的hadoop是2.7.0版其余,运用hadoop2.6.0的hadoop组件是能够运用的,我的hadoop版别是2.7.0,而eclipse的hadoop组件是hadoop2.6.0,

    下载组件地址:

    19.2、遴选eclipse的版别,我选用的是spring-tool,它是集成了eclipse的,选用这个的缘故原由是训练的时分用的等于这个版别,并且从网上看到很多直接用eclipse的人,需求版其余遴选,以及出现的同伴比较多

    下载地址:http://spring.io/tools,点击下图确当地进行下载,下载后直接解压到一个磁盘上就能够运用啦

    650) this.width=650;" src="/html/uploads/allimg/160113/061R5M94-1.jpg" style="float:none;" title="图像1.png" alt="wKioL1YogCjieJ8QAAIA-7ZnvtM319.jpg" />

    650) this.width=650;" src="/html/uploads/allimg/160113/061R52U0-2.jpg" style="float:none;" title="图像2.png" alt="wKiom1Yof_3CWut-AACvfujW9OU056.jpg" />

    进入到sts-3.7.1RELEASE里边,有一个STL.exe就能够打开了

    650) this.width=650;" src="/html/uploads/allimg/160113/061R55917-3.jpg" title="图像3.png" style="float:none;" alt="wKioL1YogCjwnNWKAADBa5K5f3o382.jpg" />

    19.3、把方才下载的eclipse的hadoop组件2.6.0放到上图中plugins里边,就能够重启STL,然后点击Window->Preferences,就会看到

    650) this.width=650;" src="/html/uploads/allimg/160113/061R54501-4.jpg" title="QQ截图2439.png" alt="wKiom1YogSrBQX1VAADZpBT_vB0229.jpg" />

    则注解组件装配成功,然后点击Window->Perspective->Open Perspectiver->other,就会在左上角看到:

    650) this.width=650;" src="/html/uploads/allimg/160113/061R5H02-5.jpg" title="图像5.png" style="float:none;" alt="wKiom1Yof_2SujU-AAApvKmbpI4193.jpg" />

    在正下方会看到:

    650) this.width=650;" src="/html/uploads/allimg/160113/061R54S5-6.jpg" title="图像6.png" style="float:none;" alt="wKioL1YogCngJOMPAAB-SKBpmto123.jpg" />

    右键点击上图的Location,会出现这个三个选项,点击New Hadoop Location,就会弹出如下信息:

    650) this.width=650;" src="/html/uploads/allimg/160113/061R56433-7.jpg" title="图像7.png" style="float:none;" alt="wKiom1Yof_2CU1jOAAFIPgTexMw472.jpg" />

    上面的Location name:能够自个随意填写一个姓名我起的是:myhadoop

    Host:192.168.12.32,这个是咱们装配集群的Master的ip地址,而不是直接填写Master,是由于当填写Master时,当链接hdfs时,会出现listing folder content同伴,并且,咱们在设置设备摆设core-site.xml,文件的时,也是主张咱们用ip地址,而不是Master,意图等于在这个当地

    Port:9001,这个是和咱们设置的core-site.xml的设置设备摆设相同的,

    DFS Master中,Prot:9000,

    然后保存退出;

    19.4、然后点击这个的DFS Locations

    会出现

    650) this.width=650;" src="/html/uploads/allimg/160113/061R522S-8.jpg" title="图像9.png" style="float:none;" alt="wKioL1YogCyjM1kSAAAjmbJTzy0679.jpg" />这个姓名,和方才咱们设置的相同啊,

    然后再点击myhadoop,会出现:

    650) this.width=650;" src="/html/uploads/allimg/160113/061R51337-9.jpg" title="图像10.png" style="float:none;" alt="wKiom1YogAHi3wV2AABNA758LKY798.jpg" />

    这个是我树立的hadoop目录到这儿整个hadoop的装配,以及hadoop在windows下的长途开拓都现已根本先容停止可是真实完结hadoop的开拓,还需求在eclipse中进行maven的装配进修这个往后再垂垂写吧

    这篇文章出自 “大年夜数据进修” 博客,请必须保存此出处http://.blog.51cto.com//

  • 相关内容

友情链接: