千锋教育-做有情怀、有良心、有品质的职业教育机构

手机站
千锋教育

千锋学习站 | 随时随地免费学

千锋教育

扫一扫进入千锋手机站

领取全套视频
千锋教育

关注千锋学习站小程序
随时随地免费学习课程

首页 视频教程 培训课程 师资团队 技术干货 常见问题 面试题 职场就业 零基础学大数据 行业资讯
【热点话题】 大数据技术干货 大数据学习教程 大数据学习笔记 大数据面试题 大数据培训问答 大数据培训机构哪些好 大数据职场就业
当前位置:大数据培训  >  学员感言  >  千锋大数据培训学员感言 学习编程技术要摆正学习态度

千锋大数据培训学员感言 学习编程技术要摆正学习态度

来源:千锋教育
发布人:千锋大数据学员
时间: 2019-01-08 17:04:00 1546938240

  在千锋大数据培训第二阶段的学习刚刚结束,让我感觉到时间总是像从指尖流过的细沙,在不经意间悄然滑落。那些往日的忧愁和悲伤,在似水流年的荡涤下随波轻轻地逝去,而留下的欢乐和笑靥就在记忆深处历久弥新,而对于编程技术的学习,我想更多的还是需要去总结,才能更好的进步。

  在千锋大数据培训第二阶段的学习,第一部分就是HDFS文件存储系统。就像我们操作系统的任意一种存储系统一样,这个模块决定了文件存在哪里,怎么存取。只不过他被hadoop集成使用。

图片3

  主要的进程有三个:NameNode 、DataNode 、Secondary、Name这三个类,是有main函数的;第二部分就是计算框架mapreduce,同hadoop1.x里的实现基本一致;第三部分是调度框架yarn。yarn的作用是什么?调度!这个词是精髓,调度资源,调度任务。主要进程:resourceManager ApplicationMaster,NodeManager这三个类,也是有main函数的。resourceManager 接到客户端提交的任务,会申请资源(container),本质是在集群中的一台机器上,与其上的NodeManager协调,在资源上启动ApplicationMaster。然后把job的控制权交给ApplicationMaster。后者接管后,根据任务的描述信息,去向resourceManager 申请运行task的资源。根据resourceManager 的回馈(资源可用情况描述),与可用的节点(NodeManager)协调,启动task任务。task任务启动,那么就使用计算框架内容执行具体的计算了,而hdfs文件读取,贯穿于整个job执行阶段,这些是第二阶段总结。

  或许你对以上的总结没有特别清晰的理解,但要知道的就是学习编程技术一定是给自己学的,而不是应付学习,最重要的就是要摆正学习态度,才会有进步的空间和提升。

声明:本站稿件版权均属千锋教育所有,未经许可不得擅自转载。

猜你喜欢LIKE

最新文章NEW

相关推荐HOT

更多>>

开班信息
北京校区
  • 北京校区
  • 大连校区
  • 广州校区
  • 成都校区
  • 杭州校区
  • 长沙校区
  • 合肥校区
  • 南京校区
  • 上海校区
  • 深圳校区
  • 武汉校区
  • 郑州校区
  • 西安校区
  • 青岛校区
  • 重庆校区
  • 太原校区
  • 沈阳校区

14天品质课程免费学

10年以上业内强师带你蜕变精英

提交领取