大数据Hadoop是非常常用的开发环境，但有不少同学在环境配置上面出现了问题，下面小千就来带大家顺一遍环境配置的方法。

      安装Hadoop集群时要确保以下几个方面, 参考下面检查工程

      1. 本机与虚拟机之间是否可以通信

      1.1 本机防火墙关闭（开启情况是本机可以ping虚拟机，虚拟机不能ping本机）

      1.2 虚拟机是克隆的情况（按照Linux文档中，修改ip地址等方法）

      1.3 虚拟机设置--网卡是否是仅主机模式或者桥接模式：仅主机模式需要检查VMware1网卡设置与虚拟机网卡设置是否匹配。桥接模式是为了让虚拟机可以连接外网，只需要改该虚拟机网卡信息即可（网关）

      2. 虚拟机之间是否可以通信

      具体的一些命令操作

      2.1关闭本机网络管理

      /etc/init.d/NetworkManager stop

      chkconfig NetworkManager off

      2.2关闭防火墙

      chkconfig iptables off

      service iptables save

      3. 更改主机名称

      vi /etc/sysconfig/network

      4. 更改主机与ip映射

      vi /etc/hosts

      5. 安装JDK和hadoop

      5.1 安装

      tar -zxvf jdk-7u79-linux-x64.tar.gz –C /usr/local

      tar -zxvf hadoop-2.7.1.tar.gz -C /usr/local/

      5.2 重新设置hadoop,jdk的所属组,所属人

      chown root:root hadoop-2.7.1 javajdk

      5.3 hadoop的目录理解

      1）bin:hadoop最基本的管理脚本和使用脚本所在目录,这些脚本是sbin目录下管理脚本的基础实现,用户可以直接使用这些脚本管理和使用hadoop

      2）etc:hadoop配置文件所在的目录,包括core-site.xml,hdfs-site.xml,mapred-site.xml,yarn-site.mxl等文件

      3）include:对外提供的编程库头文件(具体动态库和静态库在lib目录中),这些头文件均是用c++定义的,通常用于c++程序访问hdfs或者编写mapreduce程序

      4）lib:该目录包含了hadoop对外提供的编程动态库和静态库,与include目录中的头文件结合使用

      5）libexec:各个服务对应的shell配置文件所在目录,可用于配置日志输出目录,启动参数(比如JVM参数)等基本信息

      6）sbin:hadoop脚本管理所在目录,主要包含hdfs,yarn中各类服务的启动/关闭脚本

      7）share:hadoop各个模块编译后的jar包所在目录

      6. 修改系统环境变量

      6.1 到/etc/profile下进行修改

      export JAVA_HOME=/usr/local /java/

      export HADOOP_HOME=/usr/local /hadoop-2.7.1/

      export HIVE_HOME=/usr/local/hive/

      export ZOOKEEPER_HOME=/usr/local /zookeeper/

      export

      PATH=$PATH:$JAVA_HOME/bin:$ZOOKEEPER_HOME/bin:$ZOOKEEPER_HOME/conf:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HIVE_HOME/bin:

      6.2 使修改后的系统生效

      source /etc/profile

      6.3 测试

      java –version

      hadoop version

      7. 克隆

      主机台数:3台

      名字:master slave1 slave2

      8. 设置免密登录

      8.1 方式一 选其一

      进入cd /root/.ssh 执行

      ssh-keygen -t rsa

      ssh-copy-id master@root 自己对自己免密

      ssh-copy-id slave1@root

      ssh-copy-id slave2@root

      8.2 方式二 选其一

      解释:-t 是要生成的密钥类型 -p 是原来的旧密码,没有就写'' -f是密钥生成后保存文件的位置 (这些都可以不写,取默认的)

      ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

      cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

      scp ~/.ssh/authorized_keys slave1:/root/.ssh/

      scp ~/.ssh/authorized_keys slave2:/root/.ssh/

      最后如果你对大数据开发感兴趣的，不妨来千锋大数据培训班了解一下我们的大数据学习课程，全程名师面授，现在还有免费大数据学习资料可以领取，赶紧来看一下吧。

上一篇

大数据实时计算引擎Spark笔试题：Spark Catalyst查询优化器原理

下一篇

大数据技巧|消息系统Kafka的常见问题