2020年新建5G基站超60万个

本质上 valueCtx 类型是一个单向链表，会在调用 Value 方法时先查询自己的节点是否有该值。若无，则会通过自身存储的上层父级节点的信息一层层向上寻找对应的值，直到找到为止。

而在实际的工程应用中，你会发现各大框架，例如：gin、grpc 等。他都是有自己再实现一套上下文信息的传输的二次封装，本意也是为了更好的管理和观察上下文信息。

context 取消事件

在我们针对 context 的各类延伸类型和源码进行了分析后。我们进一步提出一个疑问点，context 是如何实现跨 goroutine 的取消事件并传播开来的，是如何实现的?

这个问题的答案就在于 WithCancel 和 WithDeadline 都会涉及到 propagateCancel 方法，其作用是构建父子级的上下文的关联关系，若出现取消事件时，就会进行处理：
 

4.4 任务推测执行

作业完成时间取决于最慢的任务完成时间。系统中有99%的Map任务都完成了，只有少数几个Map老是进度很慢，此时系统会发现拖后腿的任务，比如某个任务运行速度远慢于任务平均速度。为拖后腿任务启动一个备份任务，同时运行。谁先运行完，则采用谁的结果。

5 MapReduce 优化方法

MapReduce优化方法主要从六个方面考虑：数据输入、Map阶段、Reduce阶段、IO传输、数据倾斜问题和常用的调优参数。

5.1 数据输入

数据采集时，用 Hadoop Archive 将多个小文件打包成一个Har文件。

业务处理前，SequenceFile 由一系列KV组成，key=文件名，value=文件内容，将大批小文件合并成大文件。

在 MapReduce 处理时，采用CombineTextInputFormat来作为输入，解决输入端大量小文件场景。

对于大量小文件任务开启JVM 重用可提速，JVM 重用可以使得 JVM 实例在同一个 job 中重新使用N次。N的值可以在Hadoop的mapred-site.xml文件中进行配置，通常在10-20之间。

5.2 Map 阶段

减少溢写 Spill 次数，调整循环缓存区大小，减少磁盘IO。

减少合并 Merge 次数，增大Merge文件大小减少次数。

在不影响业务的情况下在Map端进行Combine处理。

5.3 Reduce 阶段

设置合理的Map跟REduce数，太少会导致Task等待。太多会导致竞争资源激烈。

设置Map跟Reduce阶段共存，map运行一定程度后Reduce 也可以运行。

规避使用Reduce，Reduce 端的Buffer也要合理设置，尽量防止溢写到磁盘。

5.4 IO 传输

采用数据压缩方式来减少网络IO时间。

使用SequenceFile二进制文件。

5.5 数据倾斜

通过对数据抽样得到结果集来设置分区边界值。

自定义分区。

使用Combine来减少数据倾斜。

采用MapJoin，尽量避免ReduceJoin。