千锋教育-做有情怀、有良心、有品质的职业教育机构

手机站
千锋教育

千锋学习站 | 随时随地免费学

千锋教育

扫一扫进入千锋手机站

领取全套视频
千锋教育

关注千锋学习站小程序
随时随地免费学习课程

首页 视频教程 培训课程 师资团队 技术干货 常见问题 面试题 职场就业 零基础学大数据 行业资讯
【热点话题】 大数据技术干货 大数据学习教程 大数据学习笔记 大数据面试题 大数据培训问答 大数据培训机构哪些好 大数据职场就业
当前位置:大数据培训  >  大数据技术干货  >  大数据培训学习笔记分享:Hadoop集群搭建

大数据培训学习笔记分享:Hadoop集群搭建

来源:千锋教育
发布人:千锋
时间: 2018-12-13 14:58:00 1544684280

  在上一个月的千锋大数据培训课上,我们接触了很多关于Hadoop的理论和操作性的知识点,尤其在近期学习的Hadoop集群的搭建问题上,小细节,小难点拼频频出现,所以,今天集中总结以下笔记,希望对各位同学有所帮助。ps:以下不涉及完全分布式,只说明单机版和伪分布式。

  一、hadoop本地模式和伪分布式模式之间的区别

图片2

  1.单机(非分布式)模式。这种模式在一台单机上运行,没有分布式文件系统,而是直接读写本地操作系统的文件系统。

  2.伪分布式运行模式。这种模式也是在一台单机上运行,但用不同的Java进程模仿分布式运行中的各类结点: (NameNode,DataNode,JobTracker,TaskTracker,SecondaryNameNode)。请注意分布式运行中的这几个结点的区别:从分布式存储的角度来说,集群中的结点由一个NameNode和若干个DataNode组成,另有一个SecondaryNameNode作为NameNode的备份;从分布式应用的角度来说,集群中的结点由一个JobTracker和若干个TaskTracker组成,JobTracker负责任务的调度,TaskTracker负责并行执行任务。TaskTracker必须运行在DataNode上,这样便于数据的本地计算。JobTracker和NameNode则无须在同一台机器上。一个机器上,既当namenode,又当datanode,或者说既是jobtracker,又是tasktracker。没有所谓的在多台机器上进行真正的分布式计算,故称为"伪分布式"。

  二,hadoop本地模式的搭建

  1.首先需要一台客户机。

  2.安装jdk。

  1)首先在客户机根目录root文件夹下建立tools文件夹:root> mkdir tools。

  2)用远程连接工具连接客户机,拖拽压缩包到客户机 root/tools/目录下

  3) 解压jdk到/etc/local下:tar -zxvf jdk-8u152-linux-x64.tar.gz -C /usr/local/

  3.安装hadoop

  1) 拖拽压缩包到客户机root/rools 目录下。

  2)解压hadoop到etc/local/下:tar -zxvf hadoop-2.7.2.tar.gz -C /usr/local/。

  4.配置环境变量

  hadoop> vi /etc/profile

  export JAVA_HOME=/usr/local/jdk1.8.0_152

  export HADOOP_HOME=/usr/local/hadoop-2.7.2/

  export CLASSPATH=.;JAVA_HOME/lib/dt.jar;JAVA_HOME/lib/tools.jar

  export PATH=$JAVA_HOME/bi

  PATH;HADOOP_HOME/bin;

  HADOOP_HOME/sbin/;

  5. hadoop version

  java –version。以上两项,都能正常显示除版本号,即为环境搭建成功,以上步骤为本地模式搭建成功!

  三,hadoop伪分布式模式的搭建(以上五步到配置环境搭建成功为基础)

  1..配置集群

  1)配置:hadoop-env.sh。Linux 系统中获取jdk 的安装路径:/usr/local/jdk1.8.0_15并修改JAVA_HOME 路径为:export JAVA_HOME=/opt/module/jdk1.8.0_144

  2)配置:core-site.xml

QQ图片20181213152115

  3)配置:hdfs-site.xml

44

  4)启动集群。格式化namenode(第一次启动时格式化,以后就不要总格式化) [qianfeng@hadoop101 hadoop-2.7.2]$ bin/hdfs namenode –format。启动namenode。[qianfeng@hadoop101 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start namenode。启动datanode。[qianfeng@hadoop101 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start datanode

  5)查看集群是否成功。[qianfeng@hadoop101 hadoop-2.7.2]$ jps。13586 NameNode。13668 DataNode。13786 Jps。//正常应该启动这三个进程

  6)查看产生的log日志。当前目录:/usr/local/hadoop-2.7.2/logs>ls。

  hadoop-qianfeng-datanode-hadoop.qianfeng.com.log

  hadoop-qianfeng-datanode-hadoop.qianfeng.com.out

  hadoop-qianfeng-namenode-hadoop.qianfeng.com.log

  hadoop-qianfeng-namenode-hadoop.qianfeng.com.out

  SecurityAuth-root.audit

  cat hadoop-qianfeng-datanode-hadoop101.log

  以上步骤即为伪分布式搭建成功!

  学习大数据开发,可以参考千锋提供的大数据学习路线,该学习路线提供完整的大数据开发知识体系,内容包含Linux&&Hadoop生态体系、大数据计算框架体系、云计算体系、机器学习&&深度学习。根据千锋大数据培训机构提供的学习路线图可以让你对学习大数据需要掌握的知识有个清晰的了解,并快速入门大数据开发。

声明:本站稿件版权均属千锋教育所有,未经许可不得擅自转载。

猜你喜欢LIKE

最新文章NEW

相关推荐HOT

更多>>

开班信息
北京校区
  • 北京校区
  • 大连校区
  • 广州校区
  • 成都校区
  • 杭州校区
  • 长沙校区
  • 合肥校区
  • 南京校区
  • 上海校区
  • 深圳校区
  • 武汉校区
  • 郑州校区
  • 西安校区
  • 青岛校区
  • 重庆校区
  • 太原校区
  • 沈阳校区

14天品质课程免费学

10年以上业内强师带你蜕变精英

提交领取