非结构化数据的要求

非常快速地处理元数据和实际数据。尽管一些全闪存供应商声称对性能的需求胜于对容量的需求，但在PB级的环境中，采用PB级或更多的闪存介质是不切实际的。

现代的非结构化数据存储系统需要智能地使用闪存和机械硬盘进行存储，并根据需要在两个存储层之间自动移动数据。这些系统可以从较低的闪存成本中受益，以增加闪存容量并减少缓存丢失的影响。但他们也需要利用机械硬盘存储来控制成本。现代的非结构化数据存储系统还需要利用云存储来实现长期存档和工作负载的可迁移性。

元数据必须扩展

另一个要求是，元数据必须扩展以跟上非结构化数据集的增长。管理元数据尤其重要，因为许多非结构化数据工作负载现在正在处理数百万甚至数十亿个文件。当然，每个文件都生成元数据。大多数文件系统供应商报告说，所有输入输出(IO)中多达80%是元数据。在许多情况下，由于元数据瓶颈、原有的网络附加存储(NAS)和文件系统达到了扩展限制。即使从技术上讲，当前的系统可以提供更多的容量，但客户仍然不得不购买另一个存储系统。

文件系统还应该利用闪存来应对PB级非结构化数据集造成的元数据挑战。写入或修改数据时，文件系统应提取有关文件的元数据，并将其存储在闪存的单独区域中。将元数据存储在闪存中不仅可以快速访问元数据请求(同样，所有IO中的80%是元数据)，还可以隔离这个IO，从而使实际数据的路径不再那么繁忙。

容量必须扩展

为了应对PB级元数据挑战，使网络附加存储(NAS)或文件系统能够提供比上一代存储解决方案更大的容量，这意味着文件系统需要扩展。它通过集群称为节点的商品服务器来完成扩展。每个节点都具有闪存和硬盘的内部存储容量，并将该存储分配到全局存储池中。当组织需要更多容量时，IT部门会添加另一个节点，以向全局池存储提供其容量。

洞察力就是力量

另一个必备条件是数据洞察力。给定文件数量及其消耗的容量，IT团队需要尽可能多地了解数据集。问题在于大多数文件系统在添加事实之后会添加自己的见解，因此它们必须逐个文件人工扫描其文件系统以访问这些见解。这些扫描要花费大量时间，尤其是在文件系统中，文件系统的数量高达数百万个(有时甚至数十亿个)。

（编辑：柳州站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!