在其余主机上都使用命令ssh-copy-id命令,将自己的authorized_keys文件内容复制到hadoop2节点的authorized_keys文件中.root@hadoop3.sshssh-copy-id-i~/.ssh/id_rsa.pubhadoop2若出现找不到hadoop2的地址相关报错,像这样!在这里插入图片描述(https://img-blog.csdnimg.cn/202001131604339.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ0MzczNzgz,size_16,color_FFFFFF,t_70)将hadoop2改成hadoop2的ip地址即可像这样!在这里插入图片描述(https://img-blog.csdnimg.cn/20200113160947613.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ0MzczNzgz,size_16,color_FFFFFF,t_70)涂黄的两句话为现在可以在hadoop3节点上试一下sshhadoop2看看能否成功比如将hadoop1的密钥传给hadoop2,则在hadoop1上可以用sshhadoop2登陆hadoop2节点!在这里插入图片描述(https://img-blog.csdnimg.cn/20200113161328384.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ0MzczNzgz,size_16,color_FFFFFF,t_70)**执行完如上操作,hadoop1、hadoop3、hadoop4的密钥都传到了hadoop2上,可以查看一下**!在这里插入图片描述(https://img-blog.csdnimg.cn/20200113161627213.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ0MzczNzgz,size_16,color_FFFFFF,t_70)**现在只需要将hadoop2中的authorized_keys文件复制到其余的远程主机上即可。

集群规划1.1hadoop版本>hadoop版本不同,配置的内容也不同,本文使用的是hadopp-3.3.2,同样适用3的其他版本,安装包链接见2.1节1.2节点数量>>只为测试学习,节点不用太多,计划使用3个节点,即构建3个docker容器,1个namenode节点,2个datanode节点,其中1个datanode作为second>namenode1.3hostname与ip>hadoop集群要求节点具有固定的hostname和ip,在此做如下规划:>namenode的hostname为master,ip为192.168.0.10>第1个datanode的hostname为slave1,ip为192.168.0.11>第2个datanode的hostname为slave2,ip为192.168.0.121.4端口>>hadoop集群提供了网页管理界面,主要包括hdfs(文件系统)、cluster(集群)、jobhistory(历史任务)三大部分,每个部分都有访问的端口号。

**前提:从母机克隆三台*****一.克隆机更改ip//root@Hadoop桌面vim/etc/udev/rules.d/70-persistent-net.rules***//root@Hadoop桌面vim/etc/sysconfig/network-scripts/ifcfg-eth0***二.检查是否更改成功//ipaddr/ifconfig//重启网络servicenetworkrestart//重启reboot三.更改主机名//root@Hadoop桌面vim/etc/sysconfig/network//需要重启才可以生效***四.改映射//root@Hadoop桌面vim/etc/hosts//例如:192.168.6.77hadoop11192.168.6.78hadoop22192.168.6.79hadoop33五.关闭防火墙//关闭//serviceiptablesstop//关闭开机自动启动//chkconfigiptablesoff六.连接xshell七.搭建hadoop集群//tar-zxf?-C?//hadoop1/2/3环境配置//vim/etc/profile/**HADOOP_HOMEexportHADOOP_HOME=/opt/en/hadoop-2.7.2/exportPATH=$PATH:$HADOOP_HOME/binexportPATH=$PATH:$HADOOP_HOME/sbin*///刷新//source/etc/profile//查询配置是否成功//hadoopversion//其他八.传输给其他两台//rsync-av?root@主机名:?//两台:配置环境变量+刷新+测试//其他***九.配置集群1.//cd/etc/hadoop///vimcore-site.xml/**fs.defaultFShdfs://Hadoop1:9000hadoop.tmp.dir/opt/en/hadoop-2.7.2/data/tmp*///vimhadoop-env.sh//在末尾加上/**JAVA_HOMEexportJAVA_HOME=/opt/en/jdk1.8.0_144//JAVA_HOMEexportJAVA_HOME=/opt/en/jdk1.8.0_144*/2.//vimhdfs-site.xml/**dfs.replication3dfs.namenode.secondary.http-addressHadoop2:50090*///vimyarn-env.sh//在末尾加上/**JAVA_HOMEexportJAVA_HOME=/opt/en/jdk1.8.0_144*/3.//vimyarn-site.xml/**yarn.nodemanager.aux-servicesmapreduce_shuffleyarn.resourcemanager.hostnameHadoop3*///vimmapred-env.sh//在末尾加上/**JAVA_HOMEexportJAVA_HOME=/opt/en/jdk1.8.0_144*/4.//改名//cpmapred.xml.templatemapred-site.xml//vimmapred-site.xml/**mapreduce.framework.nameyarn*/***十.传输//rsync-av/opt/en/hadoop/root@hadoop:/opt/en/hadoop/十一.单启//集群启动第一要格式化__转到hadoop目录下//hdfsnamenode-format//1//hadoop-daemon.shstartnamenode//1/2/3//hadoop-daemon.shstartdatanode//jps十二.群起//cd~/.ssh///ssh.keygen-trsa//ll//是否有id_rsa//传1/2/3//ssh-copy-idhadoop1/2/3//测试//sshhadoop2/3//群起配置//cd/opt/en/hadoop-2.7.2/ect/hadoop///vimslaves//删除原所有+/**//对应主机名hadoop1hadoop2hadoop3*///传输给hadoop2/3******,***大数据必备–搭建Hadoop集群(4个节点)_初学大数据肯定第一步先搭建hadoop集群,虽然不知道怎么用,但是先搭建集群是你大数据学习之旅的第一步,操作步骤有以下这几步,用的centos系统_*对四台虚拟机进网络和静态IP设置*Hadoop、jdk的安装*创建hadoop文件目录*导入jdk和hadoop的环境变量*修改hadoop配置文件*修改虚拟机主机名*绑定hostname与ip地址*关闭防火墙*配置节点之间的免密登录*格式化HDFS文件系统*启动HDFS文件系统完成以上步骤就算搭建成功,当然有很多教程说要先配置主机名等等,本教程将配置主机名、实现节点之间的免密登录放到了靠后的位置,初学者不要对此有疑惑,结果都是一样的以上步骤从第一步(对四台虚拟机进网络和静态IP设置)到第八步(关闭防火墙)在每个节点上都需要操作一遍1.对四台虚拟机进网络和静态IP设置所有对虚拟机进行的命令操作建议在xshell中进行,比较方便,可以同时操作多个窗口

_本文章不提供xshell安装包,因为xshell并不是必须的_**使用下面的命令**roo@localhostlocal$cd/etc/sysconfig/network-scripts/roo@localhostnetwork-scripts$viifcfg-ens33**删除该文本原来的内容,添加如下内容**TYPE=EthernetOXY_METHOD=”none”BROWSER_ONLY=noBOOTPROTO=”static”DEFROUTE=yesIPV4_FAILURE_FATAL=noIPV6INIT=yesIPV6_AUTOCONF=yesIPV6_DEFROUTE=yesIPV6_FAILURE_FATAL=noIPV6_ADDR_GEN_MODE=stable-privacyNAME=ens33UUID=56ae74d7-3cff-41bb-a86e-707762cb5826DEVICE=ens33ONBOOT=yesIPADDR=192.168.5.128PREFIX=24IPV6_PRIVACY=noGATEWAY=192.168.5.0NETMASK=255.255.255.0DNS1=114.114.114.114里面的GATEWAY=192.168.5.0是自己设置的,我设置的是192.168.5.0,在添加文本文件前先在虚拟机中修改

2).修改/etc/hostname文件,该文件中储存着主机名。

vi/etc/crontab/文件中写入*/1****rootntpdate-u192.168.152.44,保存退出8.分别重新加载crond.service:systemctlreloadcrond.service9.时钟服务器搭建完毕3.**设置java环境变量**1,java安装包下载到/usr/java/jdk1.8.0_131/在/etc/profile中设置环境变量exportJAVA_HOME=/usr/java/jdk1.8.0_131exportJRE_HOME=$JAVA_HOME/jreexportCLASSPATH=$JAVA_HOME/lib:$JRE_HOMElib:$CLASSPATHexportPATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH更新配置服务sourceetc/profile4.**解压Hadoop安装包到/usr目录下**:rpm-ivhhadoop-3.2.1.rmp/usr5.**配置Hadoop环境变量**exportHADOOP_HOME=/usr/hadoop/hadoop-3.2.1exportPATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbinexportHDFS_NAMENODE_USER=rootexportHDFS_DATANODE_USER=rootexportHDFS_SECONDARYNAMENODE_USER=rootexportYARN_RESOURCEMANAGER_USER=rootexportYARN_NODEMANAGER_USER=root更新配置服务sourceetc/profile**6,开始搭建Hadoop集群框架(确保所有主机防火墙关闭状态)**1,首先添加一些主机映射关系vi/etc/hosts192.168.152.44nihuan003192.168.152.22nihuan192.168.152.33nihuan002保存退出2,需要配置几个关键文件:a配置hadoop-env.sh文件Thejavaimplementationtouse.Bydefault,thisenvironmentvariableisREQUIREDonALLplatformsexceptOSX!exportJAVA_HOME=/usr/java/jdk1.8.0_131b配置core-site.xml文件确定临时文件夹的位置和master主机hadoop.tmp.dirfile://usr/hadoop/hadoop-3.2.1/tmpfs.defaultFShdfs://nihuan003c配置hdfs-site.xml,确定分块大小,副本集个数,冷备机等dfs.replication1dfs.namenode.secondary.http-addressnihuan002:50090dfs.namenode.name.dirfile:/usr/hadoop/hadoop-3.2.1/dfs/namedfs.datanode.data.dirfile:/usr/hadoop/hadoop-3.2.1/dfs/datadfs.permissions.enabledfalsedfs.blocksize1Md,配置workers:确定工作机nihuane,配置yarn-site.xmlyarn.resourcemanager.hostnamenihuan003yarn.nodemanager.aux-servicesmapreduce_shuffleyarn.nodemanager.aux-services.mapreduce_shuffle.classorg.apache.hadoop.mapred.ShuffleHandlerf,配置mapred-site.xmlmapreduce.framework.nameyarng,使用scp命令将配置好的Hadoop拷贝给另外两台主机scp-r/usr/hadooproot@nihuan002:/usr/scp-r/usr/hadooproot@nihuan:/usr/3,配置完毕后,进行格式化:使用命令hdfsnamenode-format,至此集群搭建完毕**7,启动hdfs服务:**start-dfs.shstart-all.sh***学习时间:1、周一至周五早上9点—晚上9点2、周六上午9点-上午11点3、周日下午3点-下午6点***学习产出:出现该错误的原因可能是主机的/etc.hosts文件中关于主机的的映射关系出现错误第二个错误可能是ssh免密配置错误,没有全部配置ssh免密!在这里插入图片描述(https://img-blog.csdnimg.cn/20210418212514713.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTk3MDQ5Nw==,size_16,color_FFFFFF,t_70pic_center)!在这里插入图片描述(https://img-blog.csdnimg.cn/20210418213106240.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTk3MDQ5Nw==,size_16,color_FFFFFF,t_70pic_center)出现该错误的原因可能是Hadoop的etc/hadoop/hadoop-env.sh中没有设置Java的主目录路径,或者路径设置在错误的地方!在这里插入图片描述(https://img-blog.csdnimg.cn/20210418212748910.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTk3MDQ5Nw==,size_16,color_FFFFFF,t_70pic_center)!在这里插入图片描述(https://img-blog.csdnimg.cn/20210418213003882.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTk3MDQ5Nw==,size_16,color_FFFFFF,t_70pic_center)!在这里插入图片描述(https://img-blog.csdnimg.cn/20210418213027852.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTk3MDQ5Nw==,size_16,color_FFFFFF,t_70pic_center)***,搭建hadoop集群环境不仅master和slaves安装的hadoop路径要完全一样,也要求用户和组也要完全一致。

cat/etc/group!()!()然后再把hadoop用户赋予root权限,让他可以使用sudo命令切换到可以root的用户输入sudogedit/etc/sudoerssudovi/etc/sudoers在图形界面可以用第一个命令,是ubuntu自带的一个文字编辑器,终端命令界面使用第二个命令。

查看ssh服务是否启动打开”终端窗口”,输入”sudops-e|grepssh”–>回车–>有sshd,说明ssh服务已经启动,如果没有启动,输入”sudoservicesshstart”–>回车–>ssh服务就会启动。

***大数据必备–搭建Hadoop集群(4个节点)_初学大数据肯定第一步先搭建hadoop集群,虽然不知道怎么用,但是先搭建集群是你大数据学习之旅的第一步,操作步骤有以下这几步,用的centos系统_*对四台虚拟机进网络和静态IP设置*Hadoop、jdk的安装*创建hadoop文件目录*导入jdk和hadoop的环境变量*修改hadoop配置文件*修改虚拟机主机名*绑定hostname与ip地址*关闭防火墙*配置节点之间的免密登录*格式化HDFS文件系统*启动HDFS文件系统完成以上步骤就算搭建成功,当然有很多教程说要先配置主机名等等,本教程将配置主机名、实现节点之间的免密登录放到了靠后的位置,初学者不要对此有疑惑,结果都是一样的以上步骤从第一步(对四台虚拟机进网络和静态IP设置)到第八步(关闭防火墙)在每个节点上都需要操作一遍1.对四台虚拟机进网络和静态IP设置所有对虚拟机进行的命令操作建议在xshell中进行,比较方便,可以同时操作多个窗口

_本文章不提供xshell安装包,因为xshell并不是必须的_**使用下面的命令**roo@localhostlocal$cd/etc/sysconfig/network-scripts/roo@localhostnetwork-scripts$viifcfg-ens33**删除该文本原来的内容,添加如下内容**TYPE=EthernetOXY_METHOD=”none”BROWSER_ONLY=noBOOTPROTO=”static”DEFROUTE=yesIPV4_FAILURE_FATAL=noIPV6INIT=yesIPV6_AUTOCONF=yesIPV6_DEFROUTE=yesIPV6_FAILURE_FATAL=noIPV6_ADDR_GEN_MODE=stable-privacyNAME=ens33UUID=56ae74d7-3cff-41bb-a86e-707762cb5826DEVICE=ens33ONBOOT=yesIPADDR=192.168.5.128PREFIX=24IPV6_PRIVACY=noGATEWAY=192.168.5.0NETMASK=255.255.255.0DNS1=114.114.114.114里面的GATEWAY=192.168.5.0是自己设置的,我设置的是192.168.5.0,在添加文本文件前先在虚拟机中修改

2).修改/etc/hostname文件,该文件中储存着主机名。