如何在CentOS 7中的单个节点上安装和配置Apache Hadoop

本文将指导您如何在CentOS 7,RHEL 7和Fedora 23+版本的单节点群集上安装和配置Apache Hadoop。

Apache的Hadoop是一个开源框架构建跨计算机集群分布的大数据存储和处理数据。 该项目基于以下组件:

  1. Hadoop的通用 -它含有其他Hadoop的模块所需的Java库和实用程序。
  2. HDFS - Hadoop分布式文件系统-跨多个节点分发的基于Java的可扩展文件系统。
  3. MapReduce的 -并行大数据处理YARN框架。
  4. Hadoop的纱线 :一个群集资源管理框架。
在CentOS 7中安装Hadoop

在CentOS 7中安装Hadoop

本文将指导你如何在CentOS 7单节点集群上安装的Apache Hadoop的(同样适用于RHEL 7Fedora 23+版本)。 这种类型的配置也引用为Hadoop的伪分布式模式

第1步:在CentOS 7上安装Java

1.在使用Java安装,用root用户第一次登录或具有root权限的设置你的机器的主机名使用以下命令用户进行。

# hostnamectl set-hostname master
在CentOS 7中设置主机名

在CentOS 7中设置主机名

此外,在hosts文件中添加一个新记录,使用您自己的计算机FQDN指向您的系统IP地址。

# vi /etc/hosts

添加以下行:

192.168.1.41 master.hadoop.lan
在/ etc / hosts文件中设置主机名

在/ etc / hosts文件中设置主机名

使用您自己的设置替换上述主机名和FQDN记录。

2.接下来,进入甲骨文的Java下载页面,下载最新版本的Java SE开发工具包8系统使用curl命令的帮助上:

# curl -LO -H "Cookie: oraclelicense=accept-securebackup-cookie" “http://download.oracle.com/otn-pub/java/jdk/8u92-b14/jdk-8u92-linux-x64.rpm”
下载Java SE开发包8

下载Java SE开发包8

3. Java二进制文件下载完成后,通过发出以下命令来安装软件包:

# rpm -Uvh jdk-8u92-linux-x64.rpm
在CentOS 7中安装Java

在CentOS 7中安装Java

第2步:在CentOS 7中安装Hadoop Framework

4.接下来,在系统上创建一个新的用户帐户没有root权限,我们将用它来Hadoop的安装路径和工作环境。 新帐户的主目录将驻留在/opt/hadoop目录。

# useradd -d /opt/hadoop hadoop
# passwd hadoop

5.在接下来参观的Apache Hadoop的页面,以获得链接,最新的稳定版本和下载你的系统上的归档。

# curl -O http://apache.javapipe.com/hadoop/common/hadoop-2.7.2/hadoop-2.7.2.tar.gz 
下载Hadoop Package

下载Hadoop Package

6.将归档副本的目录内容的Hadoop帐户主路径。 此外,请确保相应地更改复制的文件权限。

#  tar xfz hadoop-2.7.2.tar.gz
# cp -rf hadoop-2.7.2/* /opt/hadoop/
# chown -R hadoop:hadoop /opt/hadoop/
提取和设置Hadoop的权限

提取和设置Hadoop的权限

7.接下来,登录用Hadoop用户通过编辑配置系统在HadoopJava环境变量 .bash_profile文件。

# su - hadoop
$ vi .bash_profile

在文件末尾追加以下行:

## JAVA env variables
export JAVA_HOME=/usr/java/default
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/jre/lib:$JAVA_HOME/lib:$JAVA_HOME/lib/tools.jar
## HADOOP env variables
export HADOOP_HOME=/opt/hadoop
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
配置Hadoop和Java环境变量

配置Hadoop和Java环境变量

8.现在,初始化环境变量并发出以下命令检查其状态:

$ source .bash_profile
$ echo $HADOOP_HOME
$ echo $JAVA_HOME
初始化Linux环境变量

初始化Linux环境变量

9.最后,通过运行下面的命令配置Hadoop的帐户基于SSH密钥的身份验证(更换对主机名FQDN ssh-copy-id相应命令)。

此外,休假,以便通过SSH自动登录备案空白密码

$ ssh-keygen -t rsa
$ ssh-copy-id master.hadoop.lan
配置基于SSH密钥的认证

配置基于SSH密钥的认证