| 导读 | HDFS集群中NameNode 存在单点故障（SPOF）。对于只有一个NameNode的集群，如果NameNode机器出现意外情况，将导致整个集群无法使用，直到NameNode 重新启动。 |
影响HDFS集群不可用主要包括以下两种情况：一是NameNode机器宕机，将导致集群不可用，重启NameNode之后才可使用；二是计划内的NameNode节点软件或硬件升级，导致集群在短时间内不可用。
为了解决上述问题，Hadoop给出了HDFS的高可用HA方案：HDFS通常由两个NameNode组成，一个处于active状态，另一个处于standby状态。Active NameNode对外提供服务，比如处理来自客户端的RPC请求，而Standby NameNode则不对外提供服务，仅同步Active NameNode的状态，以便能够在它失败时快速进行切换。
HDFS HA架构一个典型的HA集群，NameNode会被配置在两台 独立的机器上，在任何时间上，一个NameNode处于活动状态，而另一个NameNode处于备份状态，活动状态的NameNode会响应集群中所有的客户端，备份状态的NameNode只是作为一个副本，保证在必要的时候提供一个快速的转移。
为了让Standby Node与Active Node保持同步，这两个Node都与一组称为JNS的互相独立的进程保持通信(Journal Nodes)。当Active Node上更新了namespace，它将记录修改日志发送给JNS的多数派。Standby noes将会从JNS中读取这些edits，并持续关注它们对日志的变更。Standby Node将日志变更应用在自己的namespace中，当failover发生时，Standby将会在提升自己为Active之前，确保能够从JNS中读取所有的edits，即在failover发生之前Standy持有的namespace应该与Active保持完全同步。
为了支持快速failover，Standby node持有集群中blocks的最新位置是非常必要的。为了达到这一目的，DataNodes上需要同时配置这两个Namenode的地址，同时和它们都建立心跳链接，并把block位置发送给它们。
任何时刻，只有一个Active NameNode是非常重要的，否则将会导致集群操作的混乱，那么两个NameNode将会分别有两种不同的数据状态，可能会导致数据丢失，或者状态异常，这种情况通常称为“split-brain”（脑裂，三节点通讯阻断，即集群中不同的Datanodes却看到了两个Active NameNodes）。对于JNS而言，任何时候只允许一个NameNode作为writer；在failover期间，原来的Standby Node将会接管Active的所有职能，并负责向JNS写入日志记录，这就阻止了其他NameNode基于处于Active状态的问题。
基于QJM的HDFS HA方案如上图所示，其处理流程为：集群启动后一个NameNode处于Active状态，并提供服务，处理客户端和DataNode的请求，并把editlog写到本地和share editlog（这里是QJM）中。另外一个NameNode处于Standby状态，它启动的时候加载fsimage，然后周期性的从share editlog中获取editlog，保持与Active节点的状态同步。为了实现Standby在Active挂掉后迅速提供服务，需要DataNode同时向两个NameNode汇报，使得Stadnby保存block to DataNode信息，因为NameNode启动中最费时的工作是处理所有DataNode的blockreport。为了实现热备，增加FailoverController和Zookeeper，FailoverController与Zookeeper通信，通过Zookeeper选举机制，FailoverController通过RPC让NameNode转换为Active或Standby。
HDFS HA配置要素NameNode机器：两台配置对等的物理机器，它们分别运行Active和Standby Node。
JouralNode机器：运行JouralNodes的机器。JouralNode守护进程相当的轻量级，可以和Hadoop的其他进程部署在一起，比如NameNode、DataNode、ResourceManager等，至少需要3个且为奇数，如果你运行了N个JNS，那么它可以允许(N-1)/2个JNS进程失效并且不影响工作。
在HA集群中，Standby NameNode还会对namespace进行checkpoint操作（继承Backup Namenode的特性），因此不需要在HA集群中运行SecondaryNameNode、CheckpointNode或者BackupNode。
HDFS HA配置参数需要在hdfs.xml中配置如下参数：
dfs.nameservices：HDFS NN的逻辑名称，例如myhdfs。
dfs.ha.namenodes.myhdfs：给定服务逻辑名称myhdfs的节点列表，如nn1、nn2。
dfs.namenode.rpc-address.myhdfs.nn1：myhdfs中nn1对外服务的RPC地址。
dfs.namenode.http-address.myhdfs.nn1：myhdfs中nn1对外服务http地址。
dfs.namenode.shared.edits.dir：JournalNode的服务地址。
dfs.journalnode.edits.dir：JournalNode在本地磁盘存放数据的位置。
dfs.ha.automatic-failover.enabled：是否开启NameNode失败自动切换。
dfs.ha.fencing.methods ：配置隔离机制，通常为sshfence。
HDFS自动故障转移HDFS的自动故障转移主要由Zookeeper和ZKFC两个组件组成。
Zookeeper集群作用主要有：一是故障监控。每个NameNode将会和Zookeeper建立一个持久session，如果NameNode失效，那么此session将会过期失效，此后Zookeeper将会通知另一个Namenode，然后触发Failover；二是NameNode选举。ZooKeeper提供了简单的机制来实现Acitve Node选举，如果当前Active失效，Standby将会获取一个特定的排他锁，那么获取锁的Node接下来将会成为Active。
ZKFC是一个Zookeeper的客户端，它主要用来监测和管理NameNodes的状态，每个NameNode机器上都会运行一个ZKFC程序，它的职责主要有：一是健康监控。ZKFC间歇性的ping NameNode，得到NameNode返回状态，如果NameNode失效或者不健康，那么ZKFS将会标记其为不健康；二是Zookeeper会话管理。当本地NaneNode运行良好时，ZKFC将会持有一个Zookeeper session，如果本地NameNode为Active，它同时也持有一个“排他锁”znode，如果session过期，那么次lock所对应的znode也将被删除；三是选举。当集群中其中一个NameNode宕机，Zookeeper会自动将另一个激活。
YARN HA架构
YARN的HA架构和HDFSHA类似，需要启动两个ResourceManager，这两个ResourceManager会向ZooKeeper集群注册，通过ZooKeeper管理它们的状态（Active或Standby）并进行自动故障转移。
高可用集群规划 集群规划根据Hadoop的HA架构分析，规划整个集群由5台主机组成，具体情况如下表所示：
需要说明以下几点：
HDFS HA通常由两个NameNode组成，一个处于Active状态，另一个处于Standby状态。Active NameNode对外提供服务，而Standby NameNode则不对外提供服务，仅同步Active NameNode的状态，以便能够在它失败时快速进行切换。
Hadoop 2.0官方提供了两种HDFS HA的解决方案，一种是NFS，另一种是QJM。这里我们使用简单的QJM。在该方案中，主备NameNode之间通过一组JournalNode同步元数据信息，一条数据只要成功写入多数JournalNode即认为写入成功。通常配置奇数个JournalNode，这里还配置了一个Zookeeper集群，用于ZKFC故障转移，当Active NameNode挂掉了，会自动切换Standby NameNode为Active状态。
YARN的ResourceManager也存在单点故障问题，这个问题在hadoop-2.4.1得到了解决：有两个ResourceManager，一个是Active，一个是Standby，状态由zookeeper进行协调。
YARN框架下的MapReduce可以开启JobHistoryServer来记录历史任务信息，否则只能查看当前正在执行的任务信息。
Zookeeper的作用是负责HDFS中NameNode主备节点的选举，和YARN框架下ResourceManaer主备节点的选举。
软件版本操作系统： release 7.0.1406
JDK：Java(TM)SE Runtime Environment (build 1.7.0_79-b15)
Hadoop：Hadoop 2.6.0-cdh5.7.1
ZooKeeper：zookeeper-3.4.5-cdh5.7.1
Linux环境准备集群各节点进行如下修改配置：
创建用户并添加权限//切换root用户 $suroot //创建hadoop用户组 #groupaddhadoop //在hadoop用户组中创建hadoop用户 #useradd-ghadoophadoop //修改用户hadoop密码 #passwdhadoop //修改sudoers配置文件给hadoop用户添加sudo权限 #vim/etc/sudoers hadoopALL=(ALL)ALL //测试是否添加权限成功 #exit $sudols/root修改IP地址和主机名
//切换root用户 $suroot //修改本机IP地址 #vim/etc/sysconfig/network-scripts/ifcfg-eth0 //重启网络服务 #servicenetworkrestart //修改主机名 #hostnamectlset-hostname主机名 //查看主机名 #hostnamectlstatus设置IP地址与主机名映射
//切换root用户 $suroot //编辑hosts文件 #vim/etc/hosts 172.16.20.81hadoop-master1 172.16.20.82hadoop-master2 172.16.20.83hadoop-slave1 172.16.20.84hadoop-slave2 172.16.20.85hadoop-slave3关闭防火墙和Selinux
//切换root用户 $suroot //停止firewall防火墙 #systemctlstopfirewalld.service //禁止firewall开机启动 #systemctldisablefirewalld.service //开机关闭Selinux #vim/etc/selinux/config SELINUX=disabled //重启机器后root用户查看Selinux状态 #getenforce配置SSH免密码登录
//在hadoop-master1节点生成SSH密钥对 $ssh-keygen-trsa //将公钥复制到集群所有节点机器上 $ssh-copy-idhadoop-master1 $ssh-copy-idhadoop-master2 $ssh-copy-idhadoop-slave1 $ssh-copy-idhadoop-slave2 $ssh-copy-idhadoop-slave3 //通过ssh登录各节点测试是否免密码登录成功 $sshhadoop-master2 备注：在其余节点上执行同样的操作，确保集群中任意节点都可以ssh免密码登录到其它各节点。安装JDK
//卸载系统自带的openjdk $suroot #rpm-qa|grepjava #rpm-e--nodepsjava-1.7.0-openjdk-1.7.0.75-2.5.4.2.el7_0.x86_64 #rpm-e--nodepsjava-1.7.0-openjdk-headless-1.7.0.75-2.5.4.2.el7_0.x86_64 #rpm-e--nodepstzdata-java-2015a-1.el7_0.noarch #exit //解压jdk安装包 $tar-xvfjdk-7u79-linux-x64.tar.gz //删除安装包 $rmjdk-7u79-linux-x64.tar.gz //修改用户环境变量 $cd~ $vim.bash_profile exportJAVA_HOME=/home/hadoop/app/jdk1.7.0_79 exportPATH=$PATH:$JAVA_HOME/bin //使修改的环境变量生效 $source.bash_profile //测试jdk是否安装成功 $java-version集群时间同步
如果集群节点时间不同步，可能会出现节点宕机或引发其它异常问题，所以在生产环境中一般通过配置NTP服务器实现集群时间同步。本集群在hadoop-master1节点设置ntp服务器，具体方法如下：
//切换root用户 $suroot //查看是否安装ntp #rpm-qa|grepntp //安装ntp #yuminstall-yntp //配置时间服务器 #vim/etc/ntp.conf #禁止所有机器连接ntp服务器 restrictdefaultignore #允许局域网内的所有机器连接ntp服务器 restrict172.16.20.0mask255.255.255.0nomodifynotrap #使用本机作为时间服务器 server127.127.1.0 //启动ntp服务器 #servicentpdstart //设置ntp服务器开机自动启动 #chkconfigntpdon 集群其它节点通过执行crontab定时任务，每天在指定时间向ntp服务器进行时间同步，方法如下： //切换root用户 $suroot //执行定时任务，每天00:00向服务器同步时间，并写入日志 #crontab-e 00***/usr/sbin/ntpdatehadoop-master1>>/home/hadoop/ntpd.log //查看任务 #crontab-l
原文来自：
