如果面试官问你Serverless
2.4.2 是否有某个 head 特别能影响模型从上面的实验可以看到，bert 模型有比较多冗余的 head。去掉一部分这些 head 并不太影响模型，但是有少部分 head 特别能影响模型如上面提到的负责提取上下句中 term 匹配信息的 head，只去掉 5 个这种 head 就能让模型的表现下降 50%。那么是否有某个 head 特别能影响结果呢？
下面实验每次只 mask 掉一个 head，看模型在测试数据中表现是否上升/下降。下图中将 bert 的 144 个 head 看作 12X12 的矩阵，矩阵内每个元素表示去掉这个 head 后模型在测试数据上的表现。其中 0 表示去掉后对模型的影响不太大。元素内的值表示相对于 baseline 的表现提升，如+1%表示相比 baseline 的 acc 提高了 1%。 在没有 finetune 前，可以看到某些 head 也会对上下句中重复的 term 分配比较大的 attention 值，这个特质可能是来自于训练任务 NSP(上下句预测)。因为假如上句和下句有出现相同的 term，则它们是上下句的概率比较大，所以 bert 有一些 head 专门负责提取这种匹配的信息。 除了上下句相同的 term 有比较大的注意力，每个 term 对自身也有比较大的注意力权重（体现在图中对角线上的值都比较大) 为了更直观的看训练前后哪部分的 attention 值有比较大的改变，分别展示训练后 attention增强(微调前-微调后>0)和训练后 attention减弱(微调前-微调后<0)的 attention 分配图。可以观察到比较明显的几个点：
摆脱过时的态度 商业领导者对云采用的理解和方法已经日趋成熟。通常情况下，企业会将非核心软件即服务(SaaS)应用程序首先迁移到云平台，重点是电子文件存储(68%)、客户关系管理(CRM)(29%)和资源计划。直到现在，人们才开始看到一些企业(特别是金融领域的企业)将核心业务应用程序向云计算靠拢。克服云计算作为一个IT问题的原有思维模式意味着将它视为一个更有意义和更全面的业务转型的推动者。 根据研究团队对企业云框架如何发展的经验，最初的迭代都是关于成本的。它们基于现有应用程序的一种基本“提升和转移”方法，并且由于没有真正利用云计算的功能而导致效率低下。然后，随着企业开始重构和构建云原生应用程序，他们开始通过使用实时数据和预测分析提供更快、更个性化的体验，来实现加快获得收入的真正好处。而在开发的下一阶段，将看到“功能即服务”的重要性日益提高，企业可以利用“大计算”，真正改变价值链，为颠覆性技术创建新的用例，并通过更深入的专业化来提高收入。大多数企业都在这一旅程的某个过程中。
以金融服务为例，这不仅是因为在疫情危机时期，资本流动是金融领域议程的重中之重。银行是集成云解决方案最快的方法(与保险等其他金融服务部门相比)，但很多银行机构尚未达到采用云计算解决方案的高峰。人们所看到的势头来自于几个主要的国际参与者，他们呼吁云计算促进重要的流动性并改善客户旅程。除非有Monzo和Starling等仅在数字领域出现的新竞争者，否则汇丰银行以云计算优先战略引领着更传统的领域。它投资于区块链等云计算使新的用例成为可能，并且已将包括全球流动性报告在内的关键应用程序移至云计算中以简化性能。 智慧城市边缘的数据管理 回答这些问题，有助于理解在其中生成、收集和保存数据的不同环境。 在智慧城市中，在收集时会产生大量数据(也称为边缘)。这可能包括地铁上的传感器或对准水上公园的摄像机。公共当局面临的挑战是确定应保留来自边缘位置的哪些数据或将其移至中央处理中心进行汇总、共享、分析和存档。 城市需要能够快速处理数据以调整和完善基于边缘的应用，但是将数据从边缘设备传输到数据中心(再传输回)通常会花费很长时间。一种更快且更具成本效益的方法是将边缘存储和边缘计算存储相结合，在边缘存储中，数据是在设备本身上进行处理的，而边缘计算存储则涉及交换办公计算和存储基础架构以支持中间聚合点。 可以使用用于真正集中存储的传统数据中心进行补充。发生这种情况时，可能会进行一些中级处理，但是我们还没有一个具备传统数据中心所具备的功能的地方。随着边缘计算变得越来越普遍，这种情况将来可能会改变。 目前，5G技术促进了边缘数据流交换。 5G将边缘传感器、摄像机等物联网设备的不同数据集成在一起。5G网络对于遍布城市各地的物联网设备将是至关重要的。
一种存储设计不能完全适合 （编辑：柳州站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
