驶向智能海洋深处,华为存储的无尽想象

  • 来源:网络
  • 更新日期:2020-06-02

摘要:1519 年 9 月 20 日,葡萄牙航海家麦哲伦率领探险队经直布罗陀海峡,开始环球航行。一年多以后,他们穿越了一个狂风巨浪、险滩暗礁的海峡,来到了一片茫茫无际的大洋。在其中航行了

1519 年 9 月 20 日,葡萄牙航海家麦哲伦率领探险队经直布罗陀海峡,开始环球航行。

一年多以后,他们穿越了一个狂风巨浪、险滩暗礁的海峡,来到了一片茫茫无际的大洋。在其中航行了三个月,从南美洲越过关岛,抵达菲律宾群岛,始终没有遇到一次大的风浪。这群世界上第一批全球航行的队员,将这片安全的海域称之为 太平洋 。

可以说,太平洋具备了海洋最高级的一切特征——深邃、宽广、巨大。在科技的语境中,它和今天新基建环境下的数据洪流如出一辙。

既然海洋并不是在任何时候都平静美丽,地震、海啸、台风……自然之力曾无数次向人类宣示它的疯狂。那么,凭什么我们会认为海量数据的暴涨也会乖乖被人类所蛰伏呢?

云计算、大数据、人工智能等新一代信息技术的产业化,让数据以前所未有的爆炸式增长,奔涌到各行各业面前,需要更强大的基础设施来应对海量数据。

(华为重磅发布 OceanStor 存储 Pacific 系列)

最近,华为发布的 OceanStor 存储 Pacific 系列,就针对最壮阔、也最险峻的海量数据场景,扬起了迎击惊涛的风帆。这意味着,数据存储不再是一件 看天吃饭 的事,正在被人力一点一滴地摆渡至彼岸。

静谧中酝酿惊涛:

存储海量数据的产业暗涌

如果我们用诚实而谦逊的视角来审视即将到来的智能时代,会发现海量数据正如同季风一样,既带来了充沛的智能雨水,也埋藏着不稳定的因素。

简单总结一下的话,存储海量智能数据的海域中,可能导致哪些自然灾害:

首先,暴涨的洪流。5G、AI、IoT 等的广泛应用,让现在各行各业对数据存储的量级需求越来越大,数据如海浪般席卷而来,不仅让机房和数据中心的存储成本日渐上升,而且在传统的服务器支撑下,已经出现了部分硬性数据存储不下的现实问题。

比如 1 小时 8K 超高清视频占用的存储空间,是 1080P 高清视频的 40 倍以上;5G 让工业互联、远程诊疗、自动驾驶成真的同时,也给运营商带来了 10 倍以上数据增长压力;基因测序的商业化普及,日产出的数据高达 6TB。

如果这些数据都无法被存储,或是迫于空间成本有限而限期删除,那么对其的挖掘、训练、利用自然也成了无水之源、无本之末。而调查显示,由于传统存储系统架构与成本的限制,当前企业数据仅有不到 2% 被保存。

如何将爆发式增长的数据以高性价比储存、妥帖挖掘,就成了存储行业的新任务。

其次,异构的暗礁。

智能时代的多场景复杂部署,数据库面临的分布式架构挑战,数据的异构性正在冲击存储的极限。

有的数据被储存在不同结构的计算硬件中,大型机、小型机、工作站、PC、手机、传感器等等,一切皆有可能。数据的格式也在增多,从传统的数据库、二维数据,逐渐扩展到语音、图像、视频等等新型多结构数据,还可能被分别存储在世界各地的不同地点……调查显示,到 2025 年 180ZB 规模的数据中,有 95% 是非结构化的数据,它们以分散的、不完整、不规则的形式,被接入到数据平台中。

比如智慧城市的建设过程中,就既有来自登记信息、地理信息系统这样的结构化数据,也有传感器检测这样来源多样的数据,以及行为描述等难以被记录的数据。想要对异构数据进行交换和共享,也对当下互联网存储系统提出了新的挑战。

最后,产业板块的地震带。

太平洋是离我们最亲近的海洋,而环抱着它的板块挤压地带,也成为地球上最不稳定的部分。围绕千行万业的基座——数据存储,在托举起产业智能的时候,也可能引发行业的地震。

一方面,数据的暴涨带来存储瓶颈,会直接引发全社会对数据空间的争夺,存储成本的上涨与数字化不可逆转的潮流相摩擦,将使不少行业面临困局;

另外,数据存储的本质意义是为了更高效地处理、分析、利用,所以数据存储行业不仅要将局部分散的数据建立起全局、统一的逻辑能力,解决数据的分片机制;还要让数据管理使能社会经营业务流程,打破不同存储协议之间的孤岛,让海量数据得以在整个计算海域内自由可靠地奔涌、流转、共享,转化成新的产业竞争力。

如果说,麦哲伦一行凭借幸运,恰好遇上了这片海域最风平浪静的时刻,那么产业数字化的席卷,可能需要多一点审慎的思考,思考如何征服数据存储这片疆域,让万物智能驱动风帆驶向更远处。

锻造存储巨轮:

华为 OceanStor 存储 Pacific 系列的渡海之旅

既然作为数字海洋基座的数据,驱动着智能技术使能全社会的转型升级。深耕智能基建的华为,自然不会缺席。

华为最新一代 OceanStor 存储 Pacific 系列,就是帮助产业者安全横渡数据海洋所打造的一艘现代化巨轮。在三个核心部件,锻造出了全新的价值想象:

一是技术的桅杆。

数据的多源异构、应用场景的广泛覆盖、跨硬件的架构难题,是产业应用数据、冶炼智能、赋能业务的核心阻碍。所以在华为 OceanStor 存储 Pacific 系列中,华为就用前沿的技术矩阵打造了一个创新的桅杆,成为数字航海强有力的支撑。

首先,华为 OceanStor 存储此次推出的全新一代 Pacific 系列,就针对海量数据场景,打造了专用硬件高密大容量存储,可以在 5U 空间里支持 120 块硬盘,密度达到业界通用存储型服务器的 2.67 倍,空间节省 62.5%;

除了硬件之外,华为还结合多协议融合互通、高效缩减算法、多级可靠机制等软件创新,将硬件的能力充分调动起来,提供了传统服务器所无法承载的能力。比如依托系列化硬件,以分布式超容量扩展为主体,结合下一代弹性 EC 算法、多协议无损互通等,可以让存储资源在面对 AI、HPC、视频等不同高并发数据数据时,提供更可靠的解决方案。与业界开源系相比,可以达到 93% 的有效利用率。

软硬件的协同作用,让华为 OceanStor 存储 Pacific 系列的桅杆,既坚固可靠,又柔韧有弹性,同时满足海量存储与不同场景部署的诉求,也成为业界技术变革的风向标。

二是高效的发动机。

数据存储就如同航母的发动机,怕它不动,又怕它乱动。既不能停摆,又需要足够的能效来保障船只行驶的更远,因此,华为率先推出可得容量的商业模式,基于领先的数据冗余保护和缩减技术,帮助用户降低海量存储的采购和使用门槛。

在性能和可靠性不降低的前提下,内部 vNode 技术可让磁盘利用率达到 93%,相比业界平均水平领先 40% 以上。热、温、冷数据按需自动分级到闪存、磁盘和蓝光介质,数据自由流动无需人工干预,进一步降低运维成本。

而通过业界首个文件、大数据、对象协议无损互通,华为 OceanStor 存储 Pacific 系列解决了传统网关方式的性能和语义损失问题,让一套存储可以支撑多个业务环节的数据处理,直接帮助客户节省空间。

这些效率效能上的加持,打破了数据存储的服务边界,让更多行业可以大胆拥抱数据基础设施,向智能时代全速前进。

三是产业的船锚。

正如前面所说,华为 OceanStor 存储 Pacific 系列的诞生,是华为智能计算战略布局下,海量数据存储与产业数字化之间的重要通道。因此,与行业场景联动的能力也就至关重要。

目前看来,华为 OceanStor 存储 Pacific 系列产品并不局限于当一个没有感情的数据容器,而是通过众多技术手段来帮助企业释放数据价值,反哺数字化转型。

比如推出的数据管理系统 DMS,就打破了华为存储系统和第三方架构的藩篱,将几种协议数据面融合互通,让企业数据的平台化应用更简单,摆脱数据孤岛的困境。整体架构的设计也不断不断进行调优和变化,部分分布式场景还支持虚拟化和云平台的场景应用……

通过这些手段,充分满足海量数据场景不同的存储需求,简化数据应用的门槛,把数据的利用价值提升到最大限度。

因此,存储得以由单一硬件向数据产业进化,融入到整个新基建浪潮的时代洪流机遇之中。

万物智能的海洋深处,

华为存储的无尽想象

华为 OceanStor 存储 Pacific 系列的推出,除了推动社会数字化大航海,也带动了存储市场自身进入了升级序列。这也引发了我们的好奇,华为存储是如何在数年间,突破层层技术难关与产业高地,走到引领行业蝶变,实现价值自证的极限?

太平洋上,曾经爆发过不少知名的战争。而华为在数据存储市场的航海,背后的战略部署在无形中也与海域作战不谋而合。或许我们可以从三场战役,来理解华为深入存储赛道的核心战力。

第一战:车轮行动。

在一场针对洛斯内格罗斯岛的空袭战斗中,面对敌人占据优势的战况,麦克阿瑟选择了开启一场 赌博 ,要求侦察部队 迅速打击,出奇制胜 。也就是著名的车轮行动,即如果没有不必要的伤亡,就继续前进,占领附近的机场,并迅速予以增援。经过一周的战斗,最终凭借车轮行动彻底赢得了战斗。

这与华为整个存储产品的成长史异曲同工。可以说华为存储的发展进程,就是不断攻占存储的技术高地,帮助客户解决问题,进而实现自我价值。

比如 2014 年,华为率先提出了融合存储的概念,把存储、备份等五个大点进行融合,引发了市场跟风效应。也是在此时,华为存储一跃成为国内市场的排行第一。

再比如海量存储的需求,自 2009 年首次发布第一代文件存储以来,华为持续投入海量数据存储领域。2019 年华为就发布了 OceanStor 存储 Pacific 系列的前身,与勘探、金融、基因测序、运营商等开始共同构筑场景案例。而华为 OceanStor 存储 Pacific 系列更是集结了华为在存储软、硬件方面的多年积累。

在此基础上,华为还砸探索新的存储系统能力,比如尝试打造颗粒级、内核级可靠性,进一步优化内存与 CPU 之间的互联互通……基于基础能力、不间断的技术迭代,也让华为存储得以在 新基建 的机遇关头,成为数字化的产业基石。

2. 冰山行动。

在冲绳岛上,曾经爆发过太平洋战场中规模最大的两栖登陆行动。航空轰炸 + 地面登陆,最终为二战胜利奠定了基础。

而在华为存储的战略中,我们也看到了对软件与硬件的协同作战,发挥到了极致。

前面我们提到,华为 OceanStor 存储 Pacific 系列的高密度硬件 + 多个软件创新,引领了整个存储产业的航向标。

实际上,早在 2008 年,华为就开始探索软硬件协同的存储系统方案。当时,华为将底盘和控制器的软件结合起来,通过盘库配合把性能方面做到极致。

2015 年,华为又推出了双活解决方案,把华为存储能力和华为 DWDM 能力进行融合,在医院、金融、运营商的系统中得到了广泛应用。

在软件定义的时代,华为也坚持保留自己硬件定义的能力。这与很多存储的 SDS 厂商不同,但在今天海量数据的极限场景下,却借由华为 OceanStor 存储 Pacific 系列展现出了硬件工艺与软件算法所能达到的新高度。

3. 攻占硫磺岛。

一岛定乾坤 的故事,没少在太平洋中上演,比如著名的中途岛,以及少有人知的硫磺岛。敌方顽强坚守的硫磺岛,最终凭借浴血奋战,得以成为打开本土战场的重要通道。

而在存储领域里, AI 是行业迭代的主旋律,也是华为所必须拿下的硫磺岛。

所以在 OceanStor 智能分布式存储系统中,Storage for AI(为 AI 而存)和 AI in Storage(存储智能)就成为整个战略部署的主线。

像在华为 OceanStor 存储 Pacific 系列中,就将 AI 融入存储全生命周期管理。比如利用 AI 算法的能力,加上智能存储管理系统,以及整个华为云的智慧能力,将软、硬、云三个 AI 有机体结合在一起,对不同的负载场景进行反复学习,不断提高存储效率和资源利用率,从而管理上尽可能减少人工操作,避免人为故障。

值得一提的是,这些 AI 模型还会在华为自己的业务流程和 IT 系统中进行实践,确保算法模型成熟度之后,在华为 OceanStor 存储 Dorado 系列、Pacific 系列等不同系列里面进行推广和使用,保障整体的可靠性。

而为了让 AI 应用平台能够更好地作业,华为存储的 Storage for AI 也努力发挥最大效益,在自动驾驶、环境监测、智慧交通等复杂的海量数据场景中,通过协议的互通,在管理面还是数据面进行打通,减少了数据的搬迁,可以直接缩短算法的训练成型时间,让万物智能距离现实更进一步。

我们常说数据是智能时代的 石油 ,它的采集、存储、运输、冶炼、使用等等,整合在一起决定了新的生产力能效。

正如华为数据存储与机器视觉产品线总裁周跃峰所说,海量数据在企业数字化转型中扮演着越来越重要的角色,然而当前只有 2% 的数据被保存、保存下来的数据只有 10% 得到分析利用。

存储看起来只是一件小事,却决定着数据能不能被安全、有效、低成本地抵达产业中枢,转化为服务千行万业的燃料。

华为存储的探索,或许可以帮我们在沉沉海雾之中,踏实地航行在智能时代的无限路途。