HDFS完全分布式配置
HDFS完全分布式配置操作系统 Centos 6.5 64位
jdk jdk-8u121-linux-x64.tar.gz
hadoop hadoop-2.7.5.tar.gz
前提条件linux系统已配置静态ip 防火墙已关闭
ip 将四个系统的ip分别更改为,以及相对应的主机名vi /etc/sysconfig/network
并在vi /etc/hosts文件下加上以下主机名对应的ip;
192.168.228.11 node01
192.168.228.12 node02
192.168.228.13 node03
192.168.228.14 node04
1.四台虚拟机时间已同步,配置时间的同步,运行yum命令下载时间ntp
yum install ntp -y
同步时间
运行时间服务器ntp1.aliyun.com实现时间同步
ntpdate ntp1.aliyun.com
2.实现免秘钥,node01 ->node01,node01 ->node02,node01->node03,node01 ->node04,实现node01到其他各节点不需要密码登录验证
所有节点需要执行如下命令生成密钥
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
-t参数就是指定要生成的密钥类型，这里指定的是rsa
-P就是你提供的旧密码, ‘’ 表示没有
-f是密钥的生成后的保存文件位置
在node01节点下分别执行下面语句,实现node01到其他节点免秘钥登录
ssh-copy-id -i ~/.ssh/id_rsa.pub root@node01
ssh-copy-id -i ~/.ssh/id_rsa.pub root@node02
ssh-copy-id -i ~/.ssh/id_rsa.pub root@node03
ssh-copy-id -i ~/.ssh/id_rsa.pub root@node04
2.安裝jdk与hadoop,安装到/opt/hpe目录下
在opt目录下创建hpe文件 作为存放解压的文件目录
# cd opt/
# mkdir hpe
# pwd
/var/opt
解压jdk,将文件解压到指定的目录下 /opt/hpe
#tar -zxvf jdk-8u121-linux-x64.tar.gz -C /opt/hpe
将jdk的包名重新命名
# ls
jdk1.8.0_121
# mv jdk1.8.0_121/ jdk1.8.0
# ls
jdk1.8.0
解压hadoop,将文件解压到指定的目录下 /opt/hpe
tar -zxvf hadoop-2.7.5.tar.gz -C /opt/hpe
配置jdk与hadoop环境,打开vi /etc/profile文件在最后加上以下语句,最后还要运行source /etc/profile
export JAVA_HOME=/opt/hpe/jdk1.8.0
export HADOOP_HOME=/opt/hpe/hadoop-2.7.5
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
4.修改配置文件
在/opt/hpe/hadoop-2.7.5/etc/hadoop打开 vi hadoop-env.sh文件,配置jdk的路径
在控制台输入 set nu命令可显示横数,将25横JAVA_HOME路径改成绝对路径/opt/hpe/jdk1.8.0
24 # The java implementation to use.
25 export JAVA_HOME=/opt/hpe/jdk1.8.0
打开vi mapred-env.sh 文件,将16横的路径改成绝对路径
16 export JAVA_HOME=/opt/hpe/jdk1.8.0
打开vi yarn-env.sh 文件,修改23横的绝对路径
22 # some Java parameters
23 export JAVA_HOME=/opt/hpe/jdk1.8.0
5.修改core-site.xml配置文件
需要在/hadoop-2.6.5/etc/hadoop目录下的core-site.xml文件中粘贴如下内容并修改成自己需要的配置
<property>
<name>fs.defaultFS</name>
<value>hdfs://node01:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/var/hpe/hadoop/full</value>
</property>
第一个配置用来描述集群中NameNode结点的URI
第二个配置用来设置元数据存储的目录,注意目录是空的目录,不存在的
6.修改datenode 打开文件vi hdfs-site.xml,加入以下语句
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>node02:50090</value>
</property>
第一个配置为设置属性需要几个副本
第二个设置SecnderNameNode的网络访问地址
7.修改slaves配置文件 打来vi slaves文本
修改里面的内容为 node02 node03 node04要竖着写不要加空格
8.将配置好的文件发到其他的节点上
其他三个节点没有创建hpe文件,执行2里面的步骤,创建hpe目录
9.将配置好的文件分发到其他的节点,jdk与hadoop文件目录
打开opt/hpe目录,将里面的两个解压目录hadoop与jdk的解压目录分发到其他的三个节点
分发的话需要将文件分发到与node01(现在的目录)一致的目录上
分别执行下面的三个目录,进行分发文件
scp -r hadoop-2.7.5/ node02:`pwd`
scp -r hadoop-2.7.5/ node03:`pwd`
scp -r hadoop-2.7.5/ node04:`pwd`
scp -r jdk1.8.0/ node02:`pwd`
scp -r jdk1.8.0/ node03:`pwd`
scp -r jdk1.8.0/ node04:`pwd`
pwd是当前的目录一致,(注意pwd的标点为esc键下的那个键)
最后将配配置文件profile文件分发过去,就是直接覆盖了
scp /etc/profile node02:/etc
scp /etc/profile node03:/etc
scp /etc/profile node04:/etc
在分发的节点需要运行source /etc/profile命令
10.格式化NameNode
格式化用来创建目录结构以及文件。此操作在在node1节点执行
hdfs namenode -format
11.启动HDFS
start-dfs.sh
页:
[1]