Hadoop3高可用集群搭建

集群规划

本次安装拟使用的各软件版本如下

CentOS
Zookeeper
Hadoop
Hive
Spark
Sqoop
MySQL

机器规划

一、安装CentOS

若使用虚拟机，建议选择2CPU2线程，4G或以上内存，至少50G硬盘。

安装过程注意事项主要包括：

日期和时间：选择上海
语言支持：简体中文和英语
软件选择：最小安装，选择其中的调试工具、兼容性程序库、开发工具、安全性工具、和系统管理工具
设置root密码：root123

安装完成后，重启即可登录系统

二、配置Linux

使用root用户登录机器，进行相关配置

配置IP地址

修改文件/etc/sysconfig/network-scripts/ifcfg-ens33，变更相关配置，应保证hadoop集群机器IP地址不变

ONBOOT=yes
BOOTPROTO=static
IPADDR=
NETMASK=
GATEWAY=
DNS1=
DNS2=

基础配置

配置主机名。根据机器不同，设置不同的主机名，从hadoop101开始。命令：hostnamectl set-hostname hadoop101
关闭防火墙。依次执行下列命令，最后查看防火墙状态

systemctl stop firewalld.service            #停止firewall
systemctl disable firewalld.service         #禁止firewall开机启动
systemctl status firewalld.service   #查看firewall状态

关闭selinux。修改文件/etc/sysconfig/selinux，将SELINUX=enforcing改为SELINUX=disabled。然后重启后用sestatus命令查看状态

# sestatus
SELinux status:                 disabled

安装net-tools。可在线或离线安装

# 在线安装命令
sudo yum -y install net-tools

# 离线安装
# 下载net-tools包，centos7版本： 
http://mirrors..com/centos/7/os/x86_64/Packages/net-tools-.20131004git.el7.x86_64.rpm
# 离线安装命令
sudo rpm -Uvh net-tools-.20131004git.el7.x86_64.rpm

# 验证安装是否成功
netstat -nltp

配置hadoop用户

本次安装计划在hadoop用户下，安装和使用hadoop集群。命令如下：

# 首先创建用户
useradd hadoop
# 配置密码
passwd hadoop  # 将hadoop的密码设置为：hadoop123
# 配置sudo权限
vi /etc/sudoers
# 在行左右，添加一行：
hadoop  ALL=(ALL)       NOPASSWD:ALL

配置基本目录

为hadoop集群安排3个目录存放相关内容

mkdir /app /applogs /data
chown -R hadoop: /app /data /applogs

从本步骤之后，不做特别说明，均使用hadoop用户进行相关操作

安装jdk

下载：https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html
上传到Centos后解压并安装

# 解压上传的文件
tar zxvf jdk-8u281-linux-x64.tar.gz -C /app/
# 配置环境变量
sudo vi /etc/profile.d/env.sh
sudo chmod  /etc/profile.d/env.sh
# 在文件中添加下列配置
export JAVA_HOME=/app/jdk1.8.0_281
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$JAVA_HOME/bin:$PATH
# 完成后，启用环境变量
source /etc/profile

验证是否安装完成

配置管理脚本

创建脚本存放目录：mkdir -p /home/hadoop/bin

配置分发脚本

创建脚本/home/hadoop/xsync，文件写入下列内容，并赋予执行权限chmod +x xsync

#!/bin/bash

#1. 判断参数个数
[ $# -lt 1 ] && {
    echo Not Enough Arguement!
    exit
}

# 遍历所有目标，同步所有文件
for file in $@
    do 
    echo ====================== sync $file =====================
 [ -e $file ] && {
        for host in hadoop101 hadoop102 hadoop103 
            do
  echo ----------------- $host --------------------
         #5. 获取父目录
                pdir=$(cd -P $(dirname $file); pwd)
        
         #6. 获取当前文件的名称
                fname=$(basename $file)
                ssh $host "mkdir -p $pdir"
                rsync -av $pdir/$fname $host:$pdir
            done
 } || {
     echo $file does not exists, please check again!
 }
done

配置进程查看脚本

创建文件 /home/hadoop/bin/jpsall，输入下列内容，并授予执行权限

#!/bin/bash

for host in hadoop101 hadoop102 hadoop103
do
    echo =============== $host ===============
    ssh $host jps
done

克隆虚拟机

将本基础机器关闭，再克隆生成三台新的虚拟机，注意克隆时选择创建完整克隆

依次配置3台机器

配置ip地址
配置主机名，主机名配置为hadoop101、hadoop102、hadoop103 hostnamectl set-hostname hadoop101
修改所有机器的 /etc/hosts，添加以下内容： hadoop101 hadoop102 hadoop103
为3台机器做ssh免密访问。要求效果root之间免密访问，hadoop用户之间免密访问。 ssh-keygen -t rsa
# 将所有服务器的 id_rsa.pub 内容汇总到 authorized_keys
# ！！！伪分布式，也必须要先生成 authorized_keys 文件！！！

# 复制到其他服务器
# scp authorized_keys @hadoop002:$PWD
# ssh-copy-id 将key写到远程机器的 ~/ .ssh/authorized_key.文件中
ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop@hadoop101
# 修改hadoop用户的.ssh下的权限（root不用修改）
sudo chmod /home/hadoop/.ssh
sudo chmod /home/hadoop/.ssh/*

配置时间同步

首先从服务器先同步时间，再执行以下操作

sudo ntpdate ntp1.aliyun.com或者使用命令sudo ntpdate

编辑 hadoop101 时间服务器配置文件 sudo vi /etc/ntp.conf #这一行的含义是授权网段上的所有机器可以从这台机器上查询和同步时间. restrict mask nomodify notrap # 修改server段内容 server server ntp1.aliyun.com server ntp2.aliyun.com server ntp3.aliyun.com server 0.centos.pool.ntp.org iburst server 1.centos.pool.ntp.org iburst server 2.centos.pool.ntp.org iburst server 3.centos.pool.ntp.org iburst server fudge stratum
编辑其他机器的时间服务配置文件sudo vi /etc/ntp.conf server fudge stratum
启动ntpd服务并设置开机启动 sudo service ntpd start sudo systemctl enable ntpd sudo systemctl enable ntpdate sudo systemctl is-enabled ntpd

参考文档：

https://blog.csdn.net/vic_qxz/article/details/ https://www.linuxprobe.com/centos7-ntp-time.html

三、安装Zookeeper

1. 安装步骤

下载zookeeper3.版本，解压文件到/app路径下下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-/apache-zookeeper--bin.tar.gz tar zxvf apache-zookeeper--bin.tar.gz -C /app/
建立相关的目录，存放数据和日志 mkdir -p /data/zookeeper/zdata/data
mkdir -p /data/zookeeper/zdata/logs
为各服务器在data目录下，生成myid文件，不同服务器myid内值不能相同。从1开始，依次增加 echo 1 > /data/zookeeper/zdata/data/myid
修改zookeeper的配置文件，复制zoo_sample.cfg为zoo.cfg cd /app
ln -s apache-zookeeper--bin zookeeper
cd zookeeper/conf
cp zoo_sample.cfg zoo.cfg
# 修改zoo.cfg,以下为配置信息
dataDir=/data/zookeeper/zdata/data
dataLogsDir=/data/zookeeper/zdata/logs
# 副本数
autopurge.snapRetainCount=3
server.1=hadoop101::
server.2=hadoop102::
server.3=hadoop103::
4lw.commands.whitelist=*
分发zookeeper到各服务器，注意修改各服务器的myid cd /app
xsync apache-zookeeper--bin zookeeper
cd /data
xsync zookeeper

# 在hadoop102执行
echo 2 > /data/zookeeper/zdata/data/myid
# 在hadoop103执行
echo 3 > /data/zookeeper/zdata/data/myid
配置环境变量 # 在/etc/profile.d/env.sh中添加
export ZOOKEEPER_HOME=/app/apache-zookeeper-

# 同步到各机器
sudo /home/hadoop/bin/xsync /etc/profile.d/env.sh
# 在所有服务器应用新的环境变量
编写集群管理脚本 myzookeeper.sh，脚本放置在home目录下面的bin目录中(/home/hadoop/bin) #!/bin/bash
if [ $# -lt 1 ]
then
echo "No Args Input..."
exit ;
fi
case $1 in
"start")
echo " =================== 启动 zookeeper 集群 ======================"
for host in hadoop101 hadoop102 hadoop103
do
echo "----------------- 启动 $host -------------------"
ssh $host "/app/apache-zookeeper-/bin/zkServer.sh start"
done
;;
"stop")
echo " =================== 关闭 zookeeper 集群 ======================"
for host in hadoop101 hadoop102 hadoop103
do
echo "----------------- 关闭 $host -------------------"
ssh $host "/app/apache-zookeeper-/bin/zkServer.sh stop"
done
;;
"status")
echo " =================== 检查 zookeeper 集群 ======================"
for host in hadoop101 hadoop102 hadoop103
do
echo "----------------- 检查 $host -------------------"
ssh $host "/app/apache-zookeeper-/bin/zkServer.sh status"
done
esac

2. 启动验证

myzookeeper.sh start

四、安装Hadoop

1. 安装说明

本次使用Hadoop3.版本，重点参考文档 https://blog.csdn.net/u012760435/article/details/
本次安装程序是基于zookeeper搭建HA环境，请先安装zookeeper

2. 文件配置

下载解压hadoop：https://mirrors.bfsu.edu.cn/apache/hadoop/common/hadoop-/hadoop-.tar.gz

tar zxvf hadoop-.tar.gz -C /app
cd /app
ln -s hadoop- hadoop

配置core-site.xml



 fs.defaultFS
 hdfs://mycluster




 hadoop.tmp.dir
 /data/hadoop/tmp




 hadoop.http.staticuser.user
 hadoop




 ha.zookeeper.quorum
 hadoop101:,hadoop102:,hadoop103:




 hadoop.proxyuser.hadoop.hosts
 *


 hadoop.proxyuser.hadoop.groups
 *






 ipc.client.connect.max.retries
 
 Indicates the number of retries a client will make to establish a server connection.



 ipc.client.connect.retry.interval
 
 Indicates the number of milliseconds a client will wait for before retrying to establish a server connection.

配置hadoop-env.sh

export JAVA_HOME=/app/jdk1.8.0_281
export HDFS_NAMENODE_USER="hadoop"
export HDFS_DATANODE_USER="hadoop"
export HDFS_ZKFC_USER="hadoop"
export HDFS_JOURNALNODE_USER="hadoop"

配置hdfs-site.xml



 dfs.replication
 2




 dfs.nameservices
 mycluster



 dfs.ha.namenodes.mycluster
 nn1,nn2





 dfs.namenode.rpc-address.mycluster.nn1
 hadoop101:


 dfs.namenode.rpc-address.mycluster.nn2
 hadoop102:




 dfs.namenode.http-address.mycluster.nn1
 hadoop101:


 dfs.namenode.http-address.mycluster.nn2
 hadoop102:







 dfs.namenode.shared.edits.dir
 qjournal://hadoop101:;hadoop102:;hadoop103:/mycluster




 dfs.client.failover.proxy.provider.mycluster
 org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider




 dfs.ha.fencing.methods
 sshfence



 dfs.ha.fencing.ssh.private-key-files
 /home/hadoop/.ssh/id_rsa




 dfs.journalnode.edits.dir
 /data/hadoop/journalnode




 dfs.ha.automatic-failover.enabled
 true



 dfs.webhdfs.enabled
 true




 dfs.datanode.max.transfer.threads
 
  
     Specifies the maximum number of threads to use for transferring data
     in and out of the DN.

配置workers

填入所有datanode的主机名称，不能留有空格

hadoop101
hadoop102
hadoop103

配置环境变量

export HADOOP_HOME=/app/hadoop-
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

# 同步到各机器
sudo /home/hadoop/bin/xsync /etc/profile.d/env.sh
# 在所有服务器应用新的环境变量

修改进程最大文件打开数

sudo vi /etc/security/limits.conf

# 参考 https://blog.csdn.net/knowledgeaaa/article/details/
# 添加以下内容
*               -      nofile          
*               -      nproc

3. 首次启动集群

将同步hadoop目录及配置文件到所有机器

cd /app
xsync hadoop-

启动journalnode，在所有journalnode节点上启动journalnode(本例中是所有机器)

hdfs --daemon start journalnode

初始化namenode，在任意namenode节点上执行格式化命令，出现successfully formated即为执行成功（本次在hadoop101执行）

hdfs namenode -format
# 安装时出现过一次错误：Unable to check if JNs are ready for formatting.
# 类似 https://blog.csdn.net/Maricle_Again/article/details/
# 解决办法是删除所有机器 /data/hadoop/journalnode/mycluster 目录下的文件
# cd /data/hadoop/journalnode/mycluster
# rm -rf in_use.lock current edits.sync

# 也有可能是网络的问题，参考该文章:https://blog.csdn.net/tototuzuoquan/article/details/
# 在dev环境中出现连不上journalnode问题，添加该配置，以增加重试次数和间隔

   ipc.client.connect.max.retries
   
   Indicates the number of retries a client will make to establish a server connection.



   ipc.client.connect.retry.interval
   
   Indicates the number of milliseconds a client will wait for before retrying to establish a server connection.

随后启动格式化后的namenode（在hadoop101执行）

hdfs --daemon start namenode

在其他namenode节点同步信息（在hadoop102执行）伪分布式部署时，不用执行本步骤

hdfs namenode -bootstrapStandby

格式化zookeeper节点，出现以下信息即为执行成功（在hadoop101执行）伪分布式不用执行本步骤

hdfs zkfc -formatZKssh

启动hdfs集群（在hadoop101执行）

start-dfs.sh
# 随后查看各机器进程
jpsall

4. 日常启停HDFS集群

启动hdfs

start-dfs.sh
# 若报错:publickey,gssapi-keyex,gssapi-with-mic,password
# 是因为ssh配置问题,需要生成~/.ssh/authorized_keys文件

关闭hdfs

stop-dfs.sh

5. 页面查看集群

6. 配置YARN及其HA

使用yarn来管理hdfs集群的资源分配，yarn的功能概述参见：https://blog.csdn.net/scgaliguodong123_/article/details/

. 文件配置

参考文档：https://blog.csdn.net/u012760435/article/details/

配置hadoop-env.sh

因为hadoop3限制必须要声明角色运行进程，vi /app/hadoop-/etc/hadoop/hadoop-env.sh

export YARN_NODEMANAGER_USER="hadoop"
export YARN_RESOURCEMANAGER_USER="hadoop"

配置mapred-site.xml

vi /app/hadoop-/etc/hadoop/mapred-site.xml


    mapreduce.framework.name
    yarn



    mapreduce.application.classpath
    $HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*:$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*




    mapreduce.jobhistory.address
    hadoop102:




    mapreduce.jobhistory.webapp.address
    hadoop102:




    mapreduce.map.memory.mb
    


    mapreduce.map.java.opts
    -Xmx1024M


    mapreduce.reduce.memory.mb
    


    mapreduce.reduce.java.opts
    -Xmx1024M

配置yarn-site.xml



    yarn.nodemanager.aux-services
    mapreduce_shuffle



    yarn.nodemanager.env-whitelist
    JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME




    yarn.resourcemanager.cluster-id
    yarncluster





    yarn.resourcemanager.ha.enabled
    true



    yarn.resourcemanager.ha.rm-ids
    rm1,rm2



    yarn.resourcemanager.hostname.rm1
    hadoop101



    yarn.resourcemanager.hostname.rm2
    hadoop103




    yarn.resourcemanager.webapp.address.rm1
    hadoop101:



    yarn.resourcemanager.webapp.address.rm2
    hadoop103:



    hadoop.zk.address
    hadoop101:,hadoop102:,hadoop103:




    yarn.resourcemanager.recovery.enabled
    true




    yarn.resourcemanager.store.class
    org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore




    yarn.nodemanager.resource.detect-hardware-capabilities
    false




    yarn.log-aggregation-enable
    true


  
    yarn.log.server.url
    http://hadoop102:/jobhistory/logs



    yarn.log-aggregation.retain-seconds
    





    yarn.nodemanager.resource.memory-mb
    


    yarn.nodemanager.resource.cpu-vcores
    4


    yarn.nodemanager.vmem-check-enabled
    true
    Whether virtual memory limits will be enforced for containers


    yarn.nodemanager.vemem-pmem-ration
    
    Ration between virtual memory to physical memory when setting memoery limits for containers


    yarn.nodemanager.pmem-check-enabled
    true


    yarn.scheduler.minimum-allocation-mb
    


    yarn.scheduler.maximum-allocation-mb

. 启动yarn

# 先同步配置文件到各服务器
xsync /app/hadoop-/etc/hadoop
# 启动yarn
start-yarn.sh

. web页面查看

7. 历史服务器配置

? 为了查看程序的历史运行情况，需要配置一下历史服务器，步骤如下：

. 配置mapred-site.xml

vi /app/hadoop-/etc/hadoop/mapred-site.xml ，添加下列配置



    mapreduce.jobhistory.address
    hadoop102:




    mapreduce.jobhistory.webapp.address
    hadoop102:

. 启动历史服务器

mapred --daemon start historyserver
# 关闭
mapred --daemon stop historyserver

8. 日志聚集

日志聚集概念：应用运行完成以后，将程序运行日志信息上传到HDFS系统上。

配置yarn-site.xml

vi /app/hadoop-/etc/hadoop/yarn-site.xml



    yarn.log-aggregation-enable
    true



    yarn.log.server.url
    http://hadoop102:/jobhistory/logs



    yarn.log-aggregation.retain-seconds

同步配置到各服务器

# 先同步配置文件到各服务器
xsync /app/hadoop-/etc/hadoop

9. 常用命令

# 查看集群可用空间等
hdfs dfsadmin -report

# 查看空间使用情况
hadoop fs -du -h /

# 查看namenode是否处于只读模式下
hdfs dfsadmin -safemode get

关注本头条号回复：hadoop ，获取完整文档

未完待续!

hadoop 虚拟集群 虚拟机hadoop集群三个节点

集群规划

一、安装CentOS

二、配置Linux

配置IP地址

基础配置

配置hadoop用户

配置基本目录

安装jdk

配置管理脚本

配置分发脚本

配置进程查看脚本

克隆虚拟机

依次配置3台机器

配置时间同步

三、安装Zookeeper

1. 安装步骤

2. 启动验证

四、安装Hadoop

1. 安装说明

2. 文件配置

配置core-site.xml

配置hadoop-env.sh

配置hdfs-site.xml

配置workers

配置环境变量

修改进程最大文件打开数

3. 首次启动集群

4. 日常启停HDFS集群

6. 配置YARN及其HA

. 文件配置

配置hadoop-env.sh

配置mapred-site.xml

配置yarn-site.xml

. 启动yarn

7. 历史服务器配置

. 配置mapred-site.xml

. 启动历史服务器

8. 日志聚集

配置yarn-site.xml

9. 常用命令

hadoop 虚拟集群虚拟机hadoop集群三个节点