新网Logo
首页>主机-资讯>

华为大数据解决方案产品总监杨泽生:大数据存算分离,加速企业数字化转型

登录 注册

华为大数据解决方案产品总监杨泽生:大数据存算分离,加速企业数字化转型

  • 来源:网络
  • 更新日期:2020-09-17

摘要:[摘要]开放数据中心峰会(ODCC2020)在北京召开,峰会围绕数据中心新基建为主题,有数据中心领域及相关行业的众多专家与会。在9月16日服务器分论坛...

[摘要]开放数据中心峰会(ODCC2020)在北京召开,峰会围绕数据中心新基建为主题,有数据中心领域及相关行业的众多专家与会。在9月16日服务器分论坛... 开放数据中心峰会(ODCC2020)在北京召开,峰会围绕数据中心新基建为主题,有数据中心领域及相关行业的众多专家与会。在9月16日服务器分论坛上,华为技术有限公司大数据解决方案产品总监杨泽生,分享了主题为《大数据存算分离,加速企业数字化转型》的演讲。

华为技术有限公司大数据解决方案产品总监杨泽生

杨泽生:大家下午好!我是来自华为海量存储领域的杨泽生,我分享的题目是华为在大数据存算分离的实践与案例。

大家知道,数字化经济时代最大的特点就是数据急剧增长,华为今年做了一个全球产业展望(GIV)报告显示,全球数据量将从2018年32.5ZB快速增长到2025年的180ZB。

在数字化给企业促进业务发展过程当中起到了非常重要的作用,我们可以从这些案例里面看到,比如大家可能很熟悉的互联网个性化推荐系统,精准推送的背后,其实就是数据在驱动。对于企业来讲,我们通过大数据辅助生产决策,华为跟大港油田合作的大数据项目,利用大数据和AI技术找石油,通过数据运营,为长期稳产提供决策支撑。华为每年有近300万人次出差,以前出差涉及考勤、机票、酒店,包括报销等十几个申请流程,现在只需要一个流程就可以真正实现“说走就走”。这是每天45万次后台数据关联碰撞的结果。数据运营,实现“让数据多跑路,员工少跑腿”。

我们可以看到数据成为企业重要的生产要素,而支撑数字化的大数据系统,对企业来讲也是非常重要的基础。

华为在大数据领域,其实耕耘的比较早,我们通过这几年实践与总结发现,企业建设大数据系统,随着应用深入和数据累积,碰到了很多的问题,我们可以总结为三点:第一,面向海量数据存不下,过去有副本或者分散的模式进行存储,需要采购大量的设备才能满足数据存储需求,也带来了机柜、制冷、功耗等运维成本高的问题;再就是我们做数据系统的时候为了面向不同的业务,数据是分散,这时候会带来多套系统间数据流动的问题、重复存储的问题。第三是数据管理,目前大部分企业的数据管理,包括备份、归档,故障处理,都依赖于人工,自动化程度不高,操作复杂,缺少故障监控、故障预测、自愈等自动化运维手段。这些因素都在制约着企业大数据系统的效率。

们已经看到计算存储一体化的建设方案,正在限制海量数据的分析,下面从趋势的角度看,是不是一定要选择存算分离

稍微扯远一点,从人类文明的发展,是通过分工协作来推进的。通过专业化的分工,带来更多的协作,解决协作效率,这样的规律放到技术领域也同样适用。存储与服务器过去也是一家,80年代存储逐渐从服务器里面剥离,实现独立的体系,并且取得了突飞猛进的发展。从这个层面来看的话,分离它其实代表的是一种专业化和更好的分工协作。

我们再看看大数据自身的发展,从我们现普遍在用的Hadoop3.0,最大的变化点是计算与存储剥离开,通过引用外部的存储,把存储与计算分开,比如S3接口的对象存储。第二,降成本,尝试其EC方案,提高存储底座的能力。第三,计算可以走轻量化、容器化的方向,从而实现资源的弹性利用。

从趋势来看的话,存算分离是必然。

那么怎么做存算分离,存算分离又是如何解决大数据分析问题的呢?

存算分离架构的本质,是我们把计算和存储,从过去一体化的架构剥离出来,实现独立的集群。这种架构带来直接的好处,我的存储计算独立扩展、分开扩展,更好的提升资源利用率。第二,通过统一存储,打破过去数据孤岛,数据放在一起进行存储,实现资源共享。再就是存储方面引入企业化的存储,打造坚实的大数据底座。这样的话通过存算协同协同,提升大数据分析的效率。

我们再看看华为的大数据存算分离解决方案,首先,底层存储存储层实现了原生HDFS语义,100%兼容开源社区Hadoop和主流商用大数据平台,良好的兼容性,使得应用层不需要做任何开发,就可使用华为的大数据存算分离方案,这样可以大幅提升业务对接效率。第二个,利用存储自身的EC算法特性,可以实现海量数据的存储的低成本,再有就是通过自动化运维管理,提升系统的效率。

我们针对大数据这个场景,单独打造了一款高密的存储设备,最大的特点是存储密度大,5U120盘高密存储器,单台设备能够支持2.4PB的裸容量,1台可以顶于3台36盘的通用高密服务器。通过高密存储,给客户带来最大的好处是机房空间能够降下来,极大节省采购和运维成本。

在存储内部边,通过华为自身对底层的技术上的深度增强,推出自研EC算法,可以做到91%的存储利用率,通过这种方式可以很大提升资源利用率。

大家如果用过开源Hadoop的话,有一个绕不开的瓶颈就是元数据瓶颈,开源Hadoop的元数据到达1.5亿个文件以上,会带来性能、稳定性等等问题,通过对元数据增强,我们可以支撑到100亿的文件,有效的解决开源Hadoop的扩展能力不足的问题。

针对多种类数据存储这块,存储最大的优势是可以实现多协议的融合。比如说从现网生产系统的数据有文件、对象、结构化,过去的存储方式都是以分散在不同的系统去存,这种方式带来数据管理的复杂度增加,另外就是业务对接非常复杂。在华为存储上,我们可以把多种类型的数据协议融合在一起,数据可以通过文件的方式写进来,对上边可以用大数据直接访问,这样的就能减少少数据的拷贝与对接的工作量,来提升数据流动效率。

另外针对数据生命周期的管理,这么多数据存进来的话,不做分级,对系统效率会有很大的影响。在华为存储上,我们可以实现不同热度的数据,我们选择放在不同的存储介质,统一管理。数据可以按热、温、冷自动化的流动,业务不感知,,可以保证热度数据优先级访问,温数据可以通过大容量、低成本的存储介质,来提升效率,同时降低数据管理的成本。

我们再看一下华为在存算分离行业实践,这个解决方案已经发布了近2年,在各行业均已取得比较好的实践效果。目前来看,运营商行业是最新遇到海量数据处理痛点的客户,运营商海量的营销、日志、经营分析等数据,这些数据我们过去普遍是哟多副本存储,多副本会带来空间、能耗等等系列的问题,那么通过存储与计算分离架构,可以很好的解决空间方面的问题。

这是我们在移动客户做的经分系统扩容的例子,可以直接在现有系统上扩展,扩展成为存算分离的架构。我们测算过,用存算一体的模式,需要321个节点,通过EC这种算法,可以把节点数一下子降到102个节点,通过这样的方式,整个系统建设成本降低40%。

另外,我们可以在现网大数据群稳定运行,不中断业务情况下,平滑演进到存算分离。这种方式下,新的数据写到存储,旧的数据可以在原有的大数据里面继续保存。访问的时候,有统一的元数据网关,可以实现新老数据的访问路由,对业务层来说,不需要做改造与迁移。

再看一个银行的案例,银行正处于数字化转型的关键时期,大数据烟囱导致的数据分散,数据难共享,业务上线慢,低资源利用率等,一直是困扰客户的问题。使用大数据存算分离方案,帮助客户实现了统一的大数据存储底座,数据集中之后上层的计算集群变成无状态,可以实现资源弹性互用,解决过去数据分散、资源浪费等系列重点问题。这种方式,最直观价值,就是可以实现资源利用率4倍提升,同时业务部署,可以从过去的天级,降低到分钟级,系统TOC节省30%。

这是个海外运营商日志留存的案例。运营商日志数据量比较大,但使用与访问频次还比较低的,这么多数据躺在大数据系统里面,需要着重考虑成本问题。通过存算分离架构,存储EC节省了存储空间,从而也节省了空间占用,这个项目的空间,原来规划15个机柜的大数据系统,现在只需要2个计算机柜+6个存储机柜,运维成本节省40%以上

华为的大数据存算分离方案在运营商、公共安全、金融、政府、大企业已经有丰富的实践案例。通过帮助客户以更低的成本存储更多的数据,提升数据分析效率,简化数据管理。

将来,我们会持续在数据基础设施层创新,帮助千行万业释放数据价值,加速数字化转型!




新网箭头云服务器