2025年全球5G核心市场规模将达94.97亿美元

YARN主要由 ResourceManager、NodeManager、ApplicationMaster 和 Container 等组件构成。

ResourceManager

处理客户端请求

监控NodeMananger

启动或监控ApplicationMaster

计算资源的分配跟调度

NodeManager

管理单个节点上资源

处理来着ResourceManager的命令

处理来自ApplicationMaster的命令

ApplicationMaster

负责数据切分。

为应用程序申请资源并分配给内部任务。

任务的监控跟容错。

Container

Container 是 YARN 中资源的抽象，封装了某个节点上的多维度资源，比如内存、CPU、磁盘、网络等。

YarnChild 其实它就是一个运行程序的进程。MrAppMaster 运行程序时向 Resouce Manager 请求的 Maptask / ReduceTask。

4.2 Yarn 调度 MapReduce 任务
 

改动后的程序执行时间变为了24秒。

其实只改动了一行代码，程序执行时间却有3倍的差距，而且看上去数组是否排序与程序执行速度貌似没什么关系，这里面其实涉及到CPU分支预测的知识点。

提到分支预测，首先要介绍一个概念：流水线。

拿理发举例，小理发店一般都是一个人工作，一个人洗剪吹一肩挑，而大理发店分工明确，洗剪吹都有特定的员工，第一个人在剪发的时候，第二个人就可以洗头了，第一个人剪发结束吹头发的时候，第二个人可以去剪发，第三个人就可以去洗头了，极大的提高了效率。

（编辑：柳州站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!