摘要: 数据驱动型的企业正在成为数字经济时代的主力军,而在指数级增长的数据规模背后,如何高效处理纷繁复杂的数据集和数据类型,是每家企业都在思考的问题,尤其是当非结构化数据变成
数据驱动型的企业正在成为数字经济时代的主力军,而在指数级增长的数据规模背后,如何高效处理纷繁复杂的数据集和数据类型,是每家企业都在思考的问题,尤其是当非结构化数据变成了企业内部未经开发的“重要价值”。“企业存储着大量的数据,但并没有有效手段把数据价值挖掘出来,所以我们需要数据的提炼。数据的存储、提炼非常重要,更重要的是要有一个安全可靠的‘炼油厂’即存储设备,不要被黑客或意外事情所影响。”Hitachi Vantara中国区首席技术官吴卫平说。
IDC预测,到2025年全球数据总量将达到175ZB。在企业组织的存储系统中,非结构化数据占据了数据总量的80%-90%。无论是金融行业的数据分析还是医疗行业的影像资料,亦或是教育行业的教学文档、媒体行业的音视频素材等等,都可以看到非结构化数据的影子。然而在非结构化数据高占比的趋势之下,仅有不到1%的数据被有效利用,其原因在于企业缺乏有效的使用途径,如对象存储曾被认为是一种仅用于合规、归档、次级或冷数据的存储,但如今并非如此。
一个显著的趋势是,越来越多的企业在使用对象存储支撑实时、智能化、高性能的工作负载,除了要满足性能和存储扩展性的需求,还要获得数据洞察以便更好地做出决策。与此同时,更好、更快的数据访问能够让非结构化数据成为营收增长的重要推动力。调查显示,只要数据可访问性增加10%,就能带来超过6500万美元的额外净收入。进入5G时代之后,企业不仅要面对高带宽、低时延所带来的大数据计算,更要让这些数据存得可靠、管得智能、用得简单。
为了帮助客户更快速地访问包括邮件、文档、健康记录、音频、视频和图像等在内的非结构化数据,并从中获得洞察,Hitachi Vantara推出了全新的分布式文件系统和管理解决方案,对Hitachi Content Platform(HCP)进行了多维度的扩展。全新的HCP产品组合包括HCP G11全闪存节点、HCP S11和S31系列存储平台、HCP S系列软件,以及与WekaIO合作的端到端DFS和对象存储解决方案,能够以较好的性价比支持多数性能密集型应用。同时,客户还可以把VSP 5000系列、VSP E990等Hitachi Vantara最新存储平台作为HCP容量扩展的后端存储池。
全新的HCP产品组合
其中,与WekaIO的全球OEM合作关系实现了集对象和文件存储优势于一身的特性。吴卫平介绍称:“WekaIO是一个海量、高速的集合NAS和对象的管理平台,它有自己的算法和引擎,使大规模的NAS可以根据要求去计算,同时又可以实现计算和存储分离。热数据可以通过前端计算,温、冷数据可以通过对象存储把数据卸载下来,提高效率。”
HCP通过性能优化的全闪存节点,可更好地支持新一代非结构化数据工作负载。这些增强的功能可帮助客户在Amazon Simple Storage Service(S3)协议上实现与以往相比3.4倍的吞吐率,并降低多达34%的成本。此外,更新后的S11/S31存储节点将读写的性能提升了三倍,在与上一代产品相同的机架空间中实现了三倍的容量提升,客户无需担心机架上量之后引发的管理复杂度加大和机房占地空间增加,帮助其快速将关键任务和云原生负载迁移到对象存储。
区别于传统的分布式文件存储系统,Hitachi Vantara在实现数据高可靠存储时并未采用多副本,而是通过纠删算法,获得比Hadoop三副本算法高得多的存储效率。吴卫平表示,数据存放在S节点上,只需要额外消耗30%的空间就可以避免常见的硬盘故障造成的数据丢失隐患,相比之下Hadoop采用三副本的保护模式需要额外消耗200%的空间,“举个例子,存1PB的数据,我们只需要不到1个机柜的空间,而Hadoop需要60个节点120U,大约需要5个机柜。1:5的空间消耗对比,根本上来源于HCP与Hadoop、与一般的x86服务器堆叠而成的分布式文件系统在算法上的不同。”
在对象存储和文件存储结合方面,热数据会通过前端NAS实现在线的顺利生产,温、冷数据则可以转移至对象存储,在后端长期保存。同时,还可以利用Hitachi Content Intelligence最大限度挖掘数据价值,为关键业务数据和存储运营提供全面的数据洞察。例如,数据写入到对象存储之后,用户可以随时通过HCI去快速查找数据,HCI相当于一个搜索引擎,能够根据用户需求来定义,在海量复杂的场景中借助索引把数据找出来。
Hitachi Vantara资深解决方案顾问蔡慧阳认为,文件存储系统包括传统的NAS或分布式文件系统更适合于热数据(活跃数据)的文件存放,热数据通常只占20%,而分布式的对象存储系统更适合于温冷数据的文件存放,数据量相对更大一点,通常占80%以上。“传统NAS和分布式文件存储如同工厂里面的生产车间,而分布式对象存储更像是车间后面的一个大仓库。”
对于有远程办公需求的企业,HCP会帮助其内部进行主动加密,通过哈希算法的方式让用户享有控制权,且不会被第三方篡改。同时,用户还可以决定访问者权限,以及产品的版本变化,256位加密等安全防护措施使得HCP能够符合欧美主流平台的验证规范。“我们实现了数据分层,有些用户希望主数据在本地,存储部分放在云上。加密算法可以在本地,能够控制数据的迁移。换句话说,如果你访问我的云数据,必须通过本地授权或者控制访问,不可能跨过这一步,这样可以把核心部分保留在本地,部分数据通过低成本放在云上。”吴卫平称。
Hitachi Vantara帮助企业组织获取更多价值
目前,HCP产品组合已服务于金融、电信、媒体等行业的超过2500家全球客户,通过深入数据运维领域,支持更好的数据获取、可视化、保护、成本优化、检索和分析等,连接了边缘和用户设备,并且支持私有云、公有云、混合云之间的智能数据移动性。对于Hitachi Vantara来说,其希望利用丰富的产品组合和运维经验,结合Hitachi在IT领域长期的数据采集和分析能力,使平台+业务成为一个整体解决方案,帮助客户实现业务重构从而推动数字化转型。
“Hitachi Vantara的优势是数据的管理,包括安全管理,数据存储,数据查找和数据分析。我们有咨询公司,有各个行业的专家,咨询部门会根据行业经验,为不同的行业提供模型和方案实施。”吴卫平说,“同时,我们也愿意和广大的合作伙伴、本土企业合作,我们提供底层的平台,他们来做咨询管理或实施,与大家携手共创,实现最终的价值体现。”
相关文章推荐
智能手机建站的优点是什么?网站页面布局有哪些关键点? 2022-01-10
2022年中国云计算面临的问题及发展前景预测分析2021-12-28
绿色智能基础设施连接可持续未来-IDCC2021万国数据第一代Smart DC发布会议程揭晓2021-12-27
阿里云:早期未意识到Apache log4j2漏洞情况的严重性 将强化漏洞管理2021-12-27
云计算开发:Python3-replace()方法详解2021-12-27