大数据时代 高性能存储的三大挑战

本篇文章1251字，读完约3分钟

从目前的科技领域来看，用汹涌的风和熊熊的火是不够的。随着新技术的出现和普及，我们的工作和生活发生了翻天覆地的变化。在过去几年中，大数据一直是人们谈论最多的话题。如今，人工智能、物联网和机器学习等流行技术正在逐渐淹没各种大、中、小型活动，生成的数据也在增加。

不可否认的是，新技术和云计算的融合将以人们无法想象的方式影响商业和工业运营。但是有一点是显而易见的，那就是将会生成更多的数据，尤其是非结构化数据。根据idc研究，非结构化数据的增长率(29.8%)超过了结构化数据的增长率(19.6%)。因此，企业需要高性能存储解决方案来满足强大的存储需求。

强劲的市场需求也催生了仓储供应商的变化。纵观近两年的市场，非结构化数据一直在不断增长，关于存储技术最新进展的报道也不断，包括非易失性存储器。随着新界面和更现代软件的普及，主要供应商都在积极创新，试图减少过去20年来由cpu开发造成的数据中心it基础设施的不平衡。

据报道，这些新接口可以实现低延迟和高性能的数据访问，特别是对于sql/nosql数据、高性能计算工作负载和大数据应用。对大型非结构化数据使用闪存技术意味着更高的性能。没有横向扩展解决方案的延迟。此外，闪存的密集存储意味着/0/比磁盘或磁带小得多，这反过来又可以节省电力、机架和冷却。尽管闪存的成本仍然高于磁盘，但各种供应商都在努力降低价格。

但是，在将非易失性存储用于非结构化文件数据方面仍然存在重大挑战，因此需要一种能够与高性能闪存一起使用的现代二级存储解决方案。

道路挑战1:文件服务和数据管理

闪存供应商尚未建立企业管理数据所需的文件服务。包括数据管理服务，如数据保护和备份、数据移动和数据检索。

这意味着高性能闪存存储需要一个互补的辅助存储解决方案，企业需要管理大量的数据文件服务，这可以使企业轻松保护和备份数十亿字节的数据，并将数据从其所在位置移动到所需位置，快速搜索和利用数据。

道路挑战2:传统解决方案跟不上闪存

将闪存用于非结构化文件数据存储需要兼容的辅助存储解决方案，但不幸的是，传统的备份和归档解决方案无法跟上闪存存储的速度。

补充高性能存储的现代存储解决方案需要能够处理并行数据流，以便尽快读取数据。

道路挑战3:更高的价位

尽管供应商正试图使闪存更便宜，但高性能的价格正在急剧上涨。由于数据量很大，很难证明高性能闪存的成本。

然而，企业通常只需要将一部分数据存储在高性能主内存中。从经济角度来说，对频繁数据进行分层非常方便，而长期保留的数据容量是以低成本水平而不是高性能进行优化的。

当闪存的性能优势被纳入具有更大策略的优化环境中时，高性能和大容量在整个数据管理系统中既经济可行又有价值。

摘要

在非结构化数据爆炸的时代，高性能和大容量是目前需要的两个要素。随着主要供应商存储解决方案的不断进步，市场似乎逐渐使用现代容量来补充高性能闪存，以便企业可以在真正需要的地方利用高性能存储容量，并为他们提供必要的文件服务来更有效地管理所有数据。

2017年网状元凌云奖

来源：搜狐微门户