摘要: 近日,国际标准化测试机构TPC公布了大数据处理性能TPCx-BB SF3000的最新排名,阿里云自主研发的神龙大数据加速引擎以2187.42 BBQpm的成绩刷新了世界纪录,领先第二名达40%以
近日,国际标准化测试机构TPC公布了大数据处理性能TPCx-BB SF3000的最新排名,阿里云自主研发的神龙大数据加速引擎以2187.42 BBQpm的成绩刷新了世界纪录,领先第二名达40%以上。
TPCx-BB是由国际标准化测试权威组织(TPC)发布的基于零售业场景构建的端到端大数据测试基准,支持主流分布式大数据处理引擎,模拟了整个线上与线下业务流程,有30个查询语句,涉及到描述性过程型查询、数据挖掘以及机器学习的算法。
此次,阿里云参赛的是自研的神龙大数据加速引擎MRACC(ApasaraCompute MapReduce Accelerator)。MRACC针对大数据常用组件,如Spark、Hadoop、Alluxio等,结合自研神龙架构的特性,进行软硬一体化优化,形成独一无二的性能优势,最终,使复杂SQL查询场景性能相比社区版spark提升2-3倍,使用eRDMA加速Spark性能提升30%。
具体来说,针对大数据任务重IO特性,阿里云MRACC在网络和存储方面结合云上的架构优势进行软硬件加速,包括软件的SQL引擎优化,使用缓存、文件裁剪、索引等优化手段,并尝试将压缩等运算卸载到异构器件;还使用eRDMA进行网络加速,将shuffle阶段的数据交换运行在eRDMA网络,使得延时降低、CPU利用率大幅提升。
据悉,TPCx-BB的测试结果,可以全面准确的反映端到端的大数据系统的整体运行性能,涵盖了结构化、半结构化和非结构化数据,能够从客户实际场景角度更全面的评估大数据系统软硬件性能、性价比、服务和功耗等各个方面,对各行业的基础设施选型有着重要参考意义。
0 相关文章相关文章推荐
智能手机建站的优点是什么?网站页面布局有哪些关键点? 2022-01-10
2022年中国云计算面临的问题及发展前景预测分析2021-12-28
绿色智能基础设施连接可持续未来-IDCC2021万国数据第一代Smart DC发布会议程揭晓2021-12-27
阿里云:早期未意识到Apache log4j2漏洞情况的严重性 将强化漏洞管理2021-12-27
云计算开发:Python3-replace()方法详解2021-12-27