TypeScript在Model中的高级应用
|
其中在第 2~第 4 层有 5 个 head 匹配的模式特别明显。我们发现虽然 bert 模型中 attention-head 很冗余，去掉一些 head 对模型不会有太大的影响，但是有少部分 head 对模型非常重要，下面展示这 5 个 head 对模型的影响，表格中的数值表示与 baseline 模型的 acc 相对提升值 --不做 HEAD-MASK随机 MASK 掉 5 个 HEADMASK 掉 5 个指定的 HEADMASK 掉 0~5 层所有 HEADMASK 掉 0 ～ 5 层其他 HEAD, 只保留这 5 个指定 HEAD测试数据准确率+0%+0%-52.4%-86.5%-18.1% 利用测试数据作为标准，分别测试随机 mask 掉 5 个 head 和 mask 掉 5 个指定的 head(这些 head 在 attention 可视化上都有明显的 query-title 匹配的模式)。从结果可以看到去掉这些负责 query-title 匹配的 head 后模型表现剧烈下降，只去掉这 5 个 head 就能让模型表现下降 50%。甚至 mask 掉 0~5 层其他 head，只保留这 5 个 head 时模型仍维持 baseline 模型 82%的表现，说明了 query-title 的 term 匹配在我们的任务中是非常重要的。 这也许是为什么双塔 bert 在我们的场景下表现会那么差的原因(Bert+LSTM 实验中两个模型结合最后的表现差于只使用 Bert, Bert 的输入为双塔输入)，因为 query 和 title 分别输入，使得这些 head 没有办法提取 term 的匹配特征(相当于 mask 掉了这些 head)，而这些匹配特征对于我们的分类任务是至关重要的 2.4.1 finetune 对于负责 term 匹配 attention-head 的影响在 query-title 分档任务中 query 和 title 中是否有相同的 term 是很重要的特征，那么在 finetune 过程中负责 query-title 中相同 term 匹配的 head 是否有比较明显的增强呢？ 下面以 case 为例说明： query="我在伊朗长大" title="假期电影《我在伊朗长大》"
下图展示了 query-title 数据***finetune 前*****某个**负责 term 匹配的 head 的 attention 分配图 人们需要了解在冠状病毒疫情之后的世界中如何提高性能和敏捷性。 在过去几年中，云采用在各种规模的企业中的增长已得到充分证明。但是，由于对云计算服务的需求已经激增，并将继续保持这种趋势，因此冠状病毒疫情将使这一趋势呈指数增长。
由于预算受到严重影响重创，预计今年全球IT支出将下降2.7%，原因是很多企业正在努力削减成本，而那些措手不及的企业将重点放在应急计划上。在当前疫情持续蔓延的情况下，要充分利用云计算并获得最大的投资回报，企业需要从一开始就掌握云计算战略的基本要素。 世界上最先进的智慧城市倡议依赖于数量众多的设备。例如，圣地亚哥市有成千上万个相连的路灯。 这些设备的数据在众多公共和私营部门利益相关者之间共享，以造福大众。例如，圣地亚哥的路灯用于监视大气数据、交通模式等。同时，Waze使用公开可用的交通数据来改善世界各地用户的旅行体验，同时为城市规划者提供分析数据的工具。 在韩国首尔的偏远地区，结合了液位传感器的太阳能垃圾箱正在帮助改进手动收集路线，从而为清洁城市带来了可观的成本节省。 所有这些传感器和解决方案都收集了大量数据，这给城市管理员带来了许多问题。应该保存什么数据，应该销毁什么?什么数据应该汇总和共享，什么应该保密?而且，至关重要的是，如何以这样的方式传输和处理PB级甚至EB级的智慧城市数据，以便可以根据所提供的见解迅速采取行动? 监管带来了进一步的复杂性。随着越来越多的市民活动流程变得自动化，公共当局必须保留推动其发展的数据的历史记录，尤其是当它们与诸如医疗保健、金融服务和汽车市场等受到严格监管的部门相关联时。 同时，个人身份信息具有其自己的一组要求。关于如何收集和使用数据的问题引起了严重的关注，围绕要保留哪些数据和不保留哪些数据产生了难题。城市在使用收集的数据时必须非常小心，并确保PII(Personally Identifiable Information，个人验证信息)保持安全和匿名。
如此众多的智能系统同时发挥作用，而这些系统又面临着诸多挑战。那么，为大规模合规性和审计目的而归档和维护数据的最有效方法是什么? （编辑：柳州站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
