云计算将如何影响数据仓库技术

  • 来源:网络
  • 更新日期:2020-04-27

摘要: 近年来,数据生成水平激增,其特点是工业领域中很多企业进行了巨大的数字化转型。全球范围内生成的数据量正在快速增长。实际上,行业媒体Gigabit Magazine的研究表明,全球20

近年来,数据生成水平激增,其特点是工业领域中很多企业进行了巨大的数字化转型。全球范围内生成的数据量正在快速增长。实际上,行业媒体Gigabit Magazine的研究表明,全球2020年生成的数据量将比10年前增长25倍以上。此外,据估计,到2025年,生成的累积数据将增加三倍,达到近175ZB。

目前,业务决策者对实时数据访问的需求也在以前所未有的速度增长,以便于进行明智的业务决策。

为了使数据对他们的业务有用、可行和可扩展,企业需要一种有效且经济高效的方式来存储、标记和解释这些数据。实现这种目的最有利可图的方法之一就是采用数据仓库。

这一概念可以追溯到上世纪70年代,当计算机科学家Bill Inmon首次提出“数据仓库”一词时,就出现了数据仓库市场。早期的数据仓库创建为本地服务器,其构建能力仅为千兆字节。从那时起,它们经历了重大的变革,现代化的仓库可容纳更大的容量。

数据仓库,也称为决策支持数据库,是指一个中央存储库,用于保存从一个或多个数据源(例如事务系统和关系数据库)衍生的信息。系统中收集的数据可以采用非结构化、半结构化或结构化数据的形式。然后对这些数据进行处理、转换和使用,以使用户可以更轻松地通过SQL客户端,电子表格和商业智能工具对其进行访问。

数据仓库还促进了更轻松的数据挖掘,这是对数据中的模式进行标识,然后可以用来推动更高的利润和销售量。数据仓库行业的应用范围跨越了与分析乃至云计算相关的多个领域,在某些情况下,其中包括医疗保健、制造业、电信与IT、零售和政府等。

在技术领域,有几家公司在推进数据仓库技术方面取得了长足的进步。最著名的公司之一是Teradata公司,这是一家行业领先的数据仓库公司,在该领域拥有30多年的经验。Teradata软件被广泛用于许多行业的各种数据仓库活动,尤其是在银行业。该公司一直致力于通过创新的新技术(包括基于Hadoop的服务)来增强其商业智能解决方案。

大数据和数据仓库

在现代时代,大数据和数据科学正在极大地颠覆企业开展业务以及决策流程的方式。跨行业拥有如此大量的数据,对高效大数据分析的需求变得至关重要。大数据最早是在上世纪90年代出现的,但是这个概念可以追溯到术语创造之前,直到计算机时代的曙光,那时企业将使用大型电子表格分析数字和研究趋势。

随着1990年代末和2000年代初出现新的数据源,它们开始推动了海量数据的产生。随着移动设备和搜索引擎的兴起,这种趋势尤其激增,搜索引擎比以往任何时候都可以输出更多的数据。表征大数据出现的另一个因素是速度。数据生成速度越快,所需的处理就越多。因此,在2005年,Gartner公司将大数据的概念描述为数据的3V,也就是数量,速度和种类。

随着数据量持续快速增长,传统的关系数据库和数据仓库无法处理这些数据。为了规避此问题并确保更高效的大数据分析系统,雅虎等公司的工程师于2006年创建了Hadoop,这是一个Apache开放源项目,它具有分布式处理框架,即使在集群平台上也可以运行大数据应用程序。

云计算12

人工智能,机器学习和基于云的解决方案可能会推动数据仓库市场的未来前景

考虑到现代产生的数据量以及处理数据所需的高级基础设施,决策支持数据库在技术和体系结构方面都面临着巨大的发展压力。除了几种新的数据仓库架构方法之外,还出现了许多技术,成为现代商业智能解决方案的主要贡献者,从云计算服务到数据虚拟化再到自动化和机器学习等。

基于云计算的解决方案是数据仓库市场的未来。随着众多企业转向云平台来支持和存储其数据仓库解决方案,像亚马逊和谷歌这样的互联网公司不知疲倦地致力于开发和托管创新的基于云计算的数据仓库。

未来几年将推动数据仓库行业前景的另一趋势是机器学习和人工智能支持。新的数据仓库架构将成为人工智能数据集的基础,而人工智能和机器学习将改善这些商业智能解决方案的功能和运营。这种趋势的一个例子是谷歌将机器学习整合到BigQuery数据仓库中。

更多关于互联网和IDC的资讯可以关注新网箭头云.