千锋教育-做有情怀、有良心、有品质的职业教育机构

手机站
千锋教育

千锋学习站 | 随时随地免费学

千锋教育

扫一扫进入千锋手机站

领取全套视频
千锋教育

关注千锋学习站小程序
随时随地免费学习课程

首页 视频教程 培训课程 师资团队 技术干货 常见问题 面试题 职场就业 零基础学大数据 行业资讯
【热点话题】 大数据技术干货 大数据学习教程 大数据学习笔记 大数据面试题 大数据培训问答 大数据培训机构哪些好 大数据职场就业
当前位置:大数据培训  >  大数据培训问答  >  自学大数据需要从哪里入手

自学大数据需要从哪里入手

匿名提问者 2018-09-10 17:35:00

推荐答案

  想要自学大数据,知道如何下手的小伙伴有福利了,本文是千锋大数据培训讲师专门为你准备的学习计划,这些技术知识梳理、其中的定义、关系以及作用,对你以后的学习会有很大的帮助!

图片1

  大数据本质也是数据,但是又有了新的特征,包括数据来源广、数据格式多样化(结构化数据、非结构化数据、Excel文件、文本文件等)、数据量大(最少也是TB级别的、甚至可能是PB级别)、数据增长速度快等。

  针对大数据主要的4个特征我们需要考虑以下问题:

  数据来源广,该如何采集汇总?,对应出现了Sqoop,Cammel,Datax等工具。

  数据采集之后,该如何存储?,对应出现了GFS,HDFS,TFS等分布式文件存储系统。

  由于数据增长速度快,数据存储就必须可以水平扩展。

  数据存储之后,该如何通过运算快速转化成一致的格式,该如何快速运算出自己想要的结果?

  对应的MapReduce这样的分布式运算框架解决了这个问题;但是写MapReduce需要Java代码量很大,所以出现了Hive,Pig等将SQL转化成MapReduce的解析引擎;

  普通的MapReduce处理数据只能一批一批地处理,时间延迟太长,为了实现每输入一条数据就能得到结果,于是出现了Storm/JStorm这样的低时延的流式计算框架;

  但是如果同时需要批处理和流处理,按照如上就得搭两个集群,Hadoop集群(包括HDFS+MapReduce+Yarn)和Storm集群,不易于管理,所以出现了Spark这样的一站式的计算框架,既可以进行批处理,又可以进行流处理(实质上是微批处理)。

  而后Lambda架构,Kappa架构的出现,又提供了一种业务处理的通用架构。

  为了提高工作效率,加快运速度,出现了一些辅助工具:

  Ozzie,azkaban:定时任务调度的工具。

  Hue,Zepplin:图形化任务执行管理,结果查看工具。

  Scala语言:编写Spark程序的最佳语言,当然也可以选择用Python。

  Python语言:编写一些脚本时会用到。

  Allluxio,Kylin等:通过对存储的数据进行预处理,加快运算速度的工具。

  以上大致就把整个大数据生态里面用到的工具所解决的问题列举了一遍,知道了他们为什么而出现或者说出现是为了解决什么问题,进行学习的时候就有的放矢了。

  学习大数据开发,可以参考千锋提供的大数据学习路线,该学习路线提供完整的大数据开发知识体系,内容包含Linux&&Hadoop生态体系、大数据计算框架体系、云计算体系、机器学习&&深度学习。根据千锋提供的大数据学习路线图可以让你对学习大数据需要掌握的知识有个清晰的了解,并快速入门大数据开发。

猜你想问HOT

最新问答NEW

更多问题在线答疑

专业导师线上坐镇,解答个性化学习难题

提交问题