在千锋大数据培训第二阶段的学习刚刚结束，让我感觉到时间总是像从指尖流过的细沙，在不经意间悄然滑落。那些往日的忧愁和悲伤，在似水流年的荡涤下随波轻轻地逝去，而留下的欢乐和笑靥就在记忆深处历久弥新，而对于编程技术的学习，我想更多的还是需要去总结，才能更好的进步。

　　在千锋大数据培训第二阶段的学习，第一部分就是HDFS文件存储系统。就像我们操作系统的任意一种存储系统一样，这个模块决定了文件存在哪里，怎么存取。只不过他被hadoop集成使用。

　　主要的进程有三个：NameNode 、DataNode 、Secondary、Name这三个类，是有main函数的;第二部分就是计算框架mapreduce，同hadoop1.x里的实现基本一致;第三部分是调度框架yarn。yarn的作用是什么?调度!这个词是精髓，调度资源，调度任务。主要进程：resourceManager ApplicationMaster，NodeManager这三个类，也是有main函数的。resourceManager 接到客户端提交的任务，会申请资源(container)，本质是在集群中的一台机器上，与其上的NodeManager协调，在资源上启动ApplicationMaster。然后把job的控制权交给ApplicationMaster。后者接管后，根据任务的描述信息，去向resourceManager 申请运行task的资源。根据resourceManager 的回馈(资源可用情况描述)，与可用的节点(NodeManager)协调，启动task任务。task任务启动，那么就使用计算框架内容执行具体的计算了，而hdfs文件读取，贯穿于整个job执行阶段，这些是第二阶段总结。

　　或许你对以上的总结没有特别清晰的理解，但要知道的就是学习编程技术一定是给自己学的，而不是应付学习，最重要的就是要摆正学习态度，才会有进步的空间和提升。

上一篇

千锋大数据培训学员感言 掌握学习方法能事半功倍

下一篇

感谢千锋大数据培训让我奋斗在IT学习道路的第一线