hadoop有三种运行方式:单价模式,伪分布式,完全分布模式
在此介绍下完全分布模式。
安装前应先将VMware和linux系统安装好(我安装的VMware 9.0 和redhat 5),
安装VMware Tools,调通网络,桥接,NAT都行,我用是桥接方式。
########################################################################
步骤:
1、配置hosts文件
2、建立hadoop运行账号
3、配置ssh免密码连入
4、下载并解压hadoop安装包
5、配置namenode,修改site文件
6、配置hadoop-env.sh文件
7、配置masters和slaves文件
8、向各个节点复制hadoop
9、格式化mamenode
10、启动hadoop
11、使用jps检验各个后台进程是否成功启动
########################################################################
1、配置hosts文件,修改所有节点的/etc/hosts,使彼此之间都能把主机名解析为IP
[root@red1 ~]# sudo gedit /etc/hosts # Do not remove the following line, or various programs # that require network functionality will fail. 127.0.0.1 localhost.localdomain localhost ::1 localhost2.localdomain2 localhost2 172.21.42.84 red1 172.21.42.82 red2
2、在所有的节点上都建立运行hadoop的账号
[root@red1 ~]# useradd hadoop [root@red1 ~]# passwd hadoop
3、ssh配置,注意要以hadoop用户的主目录下进行操作,每个节点相同
[hadoop@red1 ~]$ ssh-keygen -t rsa Generating public/private rsa key pair. Enter file in which to save the key (/home/hadoop/.ssh/id_rsa): Created directory '/home/hadoop/.ssh'. Your identification has been saved in /home/hadoop/.ssh/id_rsa. Your public key has been saved in /home/hadoop/.ssh/id_rsa.pub. The key fingerprint is: 9b:82:ea:58:b4:e0:35:d7:ff:19:66:a6:ef:ae:0e:d2 hadoop@red1 [hadoop@red1 /]$ cd /home/hadoop/.ssh/ [hadoop@red1 .ssh]$ ls id_rsa id_rsa.pub known_hosts [hadoop@red1 ~]$ cp id_rsa.pub authorized_keys
同理:在其他节点上进行相应操作。
分发ssh公钥,把各个节点的authorized_keys的内容互相拷贝加入到对方的此文件中,然后可以实现免密码彼此ssh连入
ssh-rsa AAAAB3NzaC1yc2EAAAABIwAAAQEAmzXjSVazkfYs6WDxSnopXf41mKDMKj D4m7ZwH9+peZVQAWIzGAlkVn6Osn/dSZAKhdPqf8dTQfgtw8BkgapqCq3dWCImeEOl T6Hw452+AH55BiDnzleuOLueh+itq639DCFty8zMSj0H14GVc0KMfsQxnJqsCfF7EY pwVWzmFI8bbMeoynQA1m5QIJEJC8AsLKy8/MZhy9GaGKTv/BkDwpkbF1LsLew7Mg35 /ddeX7z8Fsx7nS2rko8/rAxRO47JEFVw2VXVeWfdPPXNVbTXppu0StV+Pdaffell6D jKizHf8aX87MRHFK+8DiTBD5+BsZsmw9ynbjJasxMl05Kxnw== hadoop@red1 ssh-rsa AAAAB3NzaC1yc2EAAAABIwAAAQEAn86HahOIgUA7FeIwgfvJx8IdvRFuCy x8MEdFqhFThLBE49RoG0wkmc06j2uSb/Kq9xTrIQrev0dP0i9QPUCBn8DaQ80AylE8 uqOPivXqFLd9Qni/mAqASaOkHM5SWU8fPJAZIljq5nJ+zSUXC381isqwYkX63lPJZu traCglEy6yJoqfvvR5TKrAm9nLNCl3SYRoH/nT1+Vt+ywVaaFkTzvZUbiAs54krz3E on8n8tFAJvlMAvZdmoy+s/bBUTTsR4SPwG7teRXTrJBD2zHAJnzVMu8AJe3TipyXBh PlT5Gfu8RgfhTMx/S2rCIfezqi4pc5vFKY5u0UJdbF7cTC6w== hadoop@red2
4、下载hadoop压缩包并解压
[hadoop@red1 ~]$ tar -zxvf hadoop-0.20.2.tar.gz /home/hadoop/
5、修改配置文件
(1) 修改core-site.xml文件
[hadoop@red1 ~]# cd /home/hadoop/hadoop-0.20.2/conf/ [hadoop@red1 conf]# sudo gedit core-site.xml <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Put site-specific property overrides in this file. --> <configuration> <property> <name>fs.default.name</name> <value>hdfs://red1:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/home/hadoop/hadoop-0.20.2/tmp</value> </property> </configuration>
(2) 修改mapred-site.xml
[hadoop@red1 conf]# sudo gedit mapred-site.xml <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Put site-specific property overrides in this file. --> <configuration> <property> <name>mapred.job.tracker</name> <value>red1:9001</value> </property> </configuration>
(3) 修改 hdfs-site.xml 文件
[hadoop@red1 conf]# sudo gedit hdfs-site.xml <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Put site-specific property overrides in this file. --> <configuration> <property> <name>dfs.name.dir</name> <value>/home/hadoop/hdfs/name</value> </property> <property> <name>dfs.data.dir</name> <value>/home/hadoop/hdfs/data</value> </property> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration>
6、配置hadoop-env.sh文件
在hadoop-env.sh文件中配置jdk的环境变量
# The java implementation to use. Required. # export JAVA_HOME=/usr/lib/j2sdk1.5-sun export JAVA_HOME=/usr/java/jdk1.6.0_03
7、配置masters和slaves文件
masters文件中添加 red1
[hadoop@red1 conf]$ sudo gedit masters
slaves文件中添加 red2
[hadoop@red1 conf]$ sudo gedit slaves
8、向各个节点复制hadoop
[hadoop@red1 conf]$ scp -r /home/hadoop/hadoop-0.20.2 red2:/home/hadoop
9、格式化mamenode
[hadoop@red1 hadoop-0.20.2]$ bin/hadoop namenode -format 14/01/21 16:35:09 INFO namenode.NameNode: STARTUP_MSG: /************************************************************ STARTUP_MSG: Starting NameNode STARTUP_MSG: host = red1/172.21.42.84 STARTUP_MSG: args = [-format] STARTUP_MSG: version = 0.20.2 STARTUP_MSG: build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-0.20 -r 911707; compiled by 'chrisdo' on Fri Feb 19 08:07:34 UTC 2010 ************************************************************/ 14/01/21 16:35:09 INFO namenode.FSNamesystem: fsOwner=hadoop,hadoop 14/01/21 16:35:09 INFO namenode.FSNamesystem: supergroup=supergroup 14/01/21 16:35:09 INFO namenode.FSNamesystem: isPermissionEnabled=true 14/01/21 16:35:09 INFO common.Storage: Image file of size 96 saved in 0 seconds. 14/01/21 16:35:09 INFO common.Storage: Storage directory .../hadoop-hadoop/dfs/name has been successfully formatted. 14/01/21 16:35:09 INFO namenode.NameNode: SHUTDOWN_MSG: /************************************************************ SHUTDOWN_MSG: Shutting down NameNode at red1/172.21.42.84 ************************************************************/
没有waring和error,出现has been successfully,格式成功。
10、启动hadoop
[hadoop@red1 ~]$ start-all.sh starting namenode, logging to /home/hadoop/hadoop-0.20.2/bin/../logs/hadoop-hadoop-namenode-red1.out red2: starting datanode, logging to /home/hadoop/hadoop-0.20.2/bin/../logs/hadoop-hadoop-datanode-red2.out red1: starting secondarynamenode, logging to /home/hadoop/hadoop-0.20.2/bin/../logs/hadoop-hadoop-secondarynamenode-red1.out starting jobtracker, logging to /home/hadoop/hadoop-0.20.2/bin/../logs/hadoop-hadoop-jobtracker-red1.out red2: starting tasktracker, logging to /home/hadoop/hadoop-0.20.2/bin/../logs/hadoop-hadoop-tasktracker-red2.out
11、使用jps检验各个后台进程是否成功启动
namenode节点
[hadoop@red1 ~]# /usr/java/jdk1.6.0_03/bin/jps 27561 Jps 7377 NameNode 7606 JobTracker 7523 SecondaryNameNode
datanode节点
[hadoop@red2 ~]$ /usr/java/jdk1.6.0_03/bin/jps 14745 Jps 6658 TaskTracker 6577 DataNode
成功。
相关推荐
hadoop的独立模式、伪分布模式、完全分布式、HA配置文件
部署全分布模式Hadoop集群 实验报告一、实验目的 1. 熟练掌握 Linux 基本命令。...5. 配置全分布模式 Hadoop 集群。 6. 关闭防火墙。 7. 格式化文件系统。 8. 启动和验证 Hadoop。 9. 关闭 Hadoop。
Hadoop的完全分布模式配置——以普通用户'hadoop'启动
完全分布模式 Hadoop守护进程运行在一个集群上。启动所有的守护进程,具有hadoop完整的功能,可以使用HDFS、MapReduce和Yarn,并且这些守护进程运行在集群中,可以真正的利用集群提供高性能,在生产环境下使用。 ...
-015.Hadoop配置完全分布模式之使用符号链接实现配置分离.mp4 -016.Hadoop配置完全分布模式之克隆客户机与交互模式切换与hosts文件修改与ssh远程无密登录.mp4 -017.Hadoop配置完全分布模式之IP设置与远程拷贝与格式...
后半部分主要讲述Hadoop集群有三种运行模式,分别为单机模式,伪分布模式,完全分布式模式。单机模式和伪分布式模式的配置基本相同,本文档将重点介绍,在此基础上给出完全分布式模式搭建还需要的工作。有需要的朋友...
hadoop详细安装步骤,包括单机模式/伪分布模式/完全分布模式安装过程/zookeeper安装步骤/hbase安装步骤/各种安装之后的测试
部署Hadoop3.0高性能集群,Hadoop完全分布式模式: Hadoop的守护进程分别运行在由多个主机搭建的集群上,不同 节点担任不同的角色,在实际工作应用开发中,通常使用该...下面,阐述完全分布模式Hadoop集群的安装与配置方法。
文章目录搭建简单的Hadoop完全分布式模式分析首先设置集群规划虚拟机准备设置静态ip与主机名,设置用户为超级用户配置java环境hadoop安装配置集群配置core-site.xmlHDFS 配置文件YARN 配置文件MapReduce 配置文件这...
3.完全分布模式中JDK的安装和验证; 【实验环境】 1.五台独立虚拟机 2.主机之间有效的网络连接 3.所有虚拟机已安装Centos7.4操作系统 4.所有虚拟机已完成网络属性配置 5.软件版本: 选用JDK8的131版本,软件包名jdk...
文章目录1 本地运行模式1.1 官方Grep案例1.2 官方WordCount案例2 伪分布式模式2.1 启动HDFS并运行MapReduce程序2.1.1 分析2.1.2 执行步骤2.2 启动YARN并运行MapReduce程序...如果成功安装了Hadoop 和配置java和Hadoo
文章目录1.... 集群配置4.1 集群部署规划4.2 核心配置文件( core-site.xml )4.2.1 配置NameNode的地址4.3 env文件(hadoop-env.sh,yarn-env.sh,mapred-env.sh)4.4 HDFS配置文件(hdfs-site.xml)4.4.1 Ha
基于Hadoop完全分布式集群进⾏演⽰ 1. 架构介绍 ⼤数据处理平台依赖于分布式存储和分布式计算。本节主要包括以下⼏个要点: 1.1 分布式系统架构 分布式数据处理系统主要处理以下两⽅⾯的问题: 1. 存储 分布式存储...
4)安装Hadoop 5)配置环境变量 6)配置集群 7)单点启动 8)配置ssh 9)群起并测试集群 常见错误及解决方案 虚拟机准备 请参考文章: Cent OS 7系统的安装、VMware Tools安装及设置共享文件夹 虚拟机中克隆
完成Zookeeper的完全分布模式的安装 Zookeeper服务能够正常启动和连接 Zookeeper控制台能够正常进入 Zookeeper控制台命令能够正常使用 二、实验目的 Zookeeper的完全分布模式的安装和验证 三、软件版本 选用...
1、掌握在完全分布模式的整合平台中快捷的进行JDK的安装和验证 2、在集群中所有主机上完成JDK的安装 3、所有主机上JDK相关命令能够正常使用
'[IT18掌www.it18zhang.com]011.Hadoop配置-完全分布式模式.pptx' '[IT18掌www.it18zhang.com]Avro.pptx' '[IT18掌www.it18zhang.com]ZooKeeper.pptx' '[IT18掌www.it18zhang.com]012.Hadoop Windows下免Cygwin伪...
59_hadoop完全分布式-hdfs体验 60_hadoop的架构原理图 61_临时文件 62_hadoop的简单介绍, p5 P$ @+ O2 V. p } 63_通过京东的流程讲解hadoop的处理过程; b1 Q* b- v& N, S4 G) j' Y 64_项目流程图 65_架构2 66_跑一个...