如何在不影响发展的情况下降低数据成本

如何在不影响发展的情况下降低数据成本

• 来源:网络
• 更新日期:2020-08-11

摘要：在过去的十几年中，数据已成为区分企业优劣的主要依据。冠状病毒(COVID-19)大流行无疑使数据的价值越来越高，因为这样的大流行可以促使企业，政府和卫生专业人员将目标转向旨在保

在过去的十几年中，数据已成为区分企业优劣的主要依据。冠状病毒(COVID-19)大流行无疑使数据的价值越来越高，因为这样的大流行可以促使企业，政府和卫生专业人员将目标转向旨在保护和挽救生命的各种干预措施。现在，冠状病毒危机所造成的经济后果威胁着组织的健康，因此数据将再次发挥重要作用。

尽管领导者们可以放心的是组织已经从大流行中先后复苏，差别体现在数字化方面，正当他们努力确保组织的财政基础并了解新的增长来源，他们不得不回答大量问题：哪些部门和领域将推动需求?哪里需要频繁接触供应链?对于更热衷于数字化且很可能继续需要远程且灵活的筹划的客户群和员工队伍，为他们提供服务的最佳方法是什么?

要回答这些问题就需要大量的数据并且具备高效使用这些数据的专业知识。企业将不得不对来源不一的信息进行建模，在更多渠道上应用洞察并持续进行这些工作，同时确保数据没有受到污染，隐私受到保护以及合规性方面的责任符合要求。

培养能做到上述要求的能力则要付出一定的代价。大多数公司不得不将其数据架构现代化，从新的源头获取数据，设计各种算法对数据进行建模并从中获得洞察，雇用或培养人才来做这一切。这一切代价可大可小，从中型组织花费数亿美元到大型公司花费数十亿美元等等。在冠状病毒危机发生前，许多组织都计划要在数据上投入更多的钱，而这场危机则很可能使这种需求只增不减。由于组织的收入已经受到了这次大流行的影响，企业可能很想知道在哪里可以找到满足资金需求的资源。

令人惊讶的是，答案可能来自更好地管理数据。将更大的管理规则应用于经常扩展数据架构，数据源和数据使用实践的这一做法可以节省大量资金。我们的客户工作表明，只要在五个领域实现更高的可见性，标准化和监督，公司就可以恢复并重新部署其当前数据支出的35%。更为理想的情况是，人们提出的许多改进都可以快速得到应用。在我们所经历的例子中，各大企业在半年内节省的开支就达到两位数的百分值。从长远来看，将这些变革制度化并扩大这些变革可以带来更大的收益。

数据也许非常多，但管理数据并不便宜

由于成本分散在整个企业中，许多组织并不知道自身在数据上花了多少钱。例如，第三方数据支出可能由业务部门的预算来承担，报告成本则由相关的公司职能来承担，而数据架构方面的支出则由IT来管理。

这些成本合在一起时，数字可能会令人震惊。例如，一家运营成本高达50亿美元的中型机构在第三方数据采购，架构，治理和消费方面的数据支出超过2.5亿美元。这四个支出领域的数据成本的构成则因行业而异。例如，包装消费品等不直接与客户互动的行业在数据采购上的相对支出往往比较高。但是结果仍然不变，即在大多数组织中，管理数据是成本大头。

因此解决这一分散化问题就可以快速取得成效。数据源，体系结构，治理和使用方面的有针对性的改进有助于公司减少浪费和人力工作并可以更轻松地获取高质量数据。这些努力可以在短期内将年度数据支出减少5%到15%。从长远来看，公司可以加倍节省成本，其方法是对核心流程进行重新设计和自动化，集成各种先进技术并引进新的工作方式。为了获得这些好处，以下是领导者们必须做的四件事。

优化第三方数据采购

美国一家地方银行在算完账后发现它每年大约花费1亿美元来获取信贷风险数据，市场数据以及其它外部数据。为了资助更广泛的数据转型，该行必须降低这笔开销。该行首先清点了其许可的所有不同数据及其使用频率。它发现，少数第三方数据源占所有用量的大头;它还发现，不需要实时获取更新的人正在使用大部分数据。银行可以将数据成本削减多达20%，其方法是消除未使用和未充分利用的数据馈送，按数据访问来定义更清晰的权限，使信用风险评分和其他专有数据被重用更长的时间，

这些细致周到的措施可以减少不必要的第三方支出。修改现有供应商合同并为最常用的数据馈送设置使用上限，这样就可以带来更多收益。后来，由于大量合同需要续签，公司可以将其获得的价值和价格与其它数据源(数量正在迅速增长的数据源)进行比较，从而找到最合适的价格并议定最优惠的条款。

我们还建议建立一个由业务部门和职能级别的网守(gatekeeper)组成的中心供应商管理团队，以监督数据订阅，使用条款和续订日期。凭借适当的采购和业务赞助，该团队有助于管理公司对第三方数据的需求并优化供应商协议。

简化数据架构

有一家先进的全球银行在整个业务的不同孤岛中拥有600多个数据存储库。管理这些存储库使该行每年损失20亿美元。由于该行意识到这是不可持续的，它成立了由首席信息官和相关业务负责人组成的联合企业数据架构团队。他们一致同意将数据环境简化为40个唯一的域并将“黄金资源”存储库标准化，从而使其能够缩小规模并在某些情况下完全停用数据存储库。这样的精简节省了4亿多美元的年度数据成本，同时还提高了数据质量，使该行更容易更新系统并将洞察整合到流程中。

许多成熟的组织也像这家银行一样因数据存储库七零八散而困扰。存储和维护这些工具可能会消耗掉平均IT预算的15%到20%。由于数据管理协议没有充分标准化，这也可能带来验证方面的麻烦，团队因为要寻找所需的信息而浪费时间，当他们用错数据时，他么会发现错误越来越多。为了获得所需的绩效，组织必须重新讨论其核心数据体系结构。

短期来看，组织可以通过优化基础结构来节省成本，例如，它们可以将历史数据转移到低成本存储中，提高服务器利用率或不再续签服务器合同。此外，公司可以认真研究整个体系结构开发的产品组合，放缓或停止优先级较低的项目，同时还可以减少高成本供应商资源的部署。同样，公司不必等待目标架构来从其数据中获得价值。应用程序编程接口(API)的更广泛使用可以使企业将深埋于遗留系统中的数据投入工作而不必设计昂贵的自定义工作流。

长远来看，更为大胆的，具有转型意义的变革可以节省更多的钱。例如，将数据存储库迁移到通用的现代数据平台(如数据湖)并将基础设施变为以云为中心的设计，使公司将遗留环境合理化并降低处理计算和存储高峰所需的平均容量。此外，组织可以发起各种变革，从而更广泛地提高生产力，例如，采用各种指标和记分卡来提高绩效，将需要人工介入的活动自动化并将某些资源近包或外包。

设计数据治理以实现价值

有一家领先的矿业公司拥有数百个运营数据源，这些数据源分散在多地的小仓库中。该公司每创建一个新的分析用例或数字应用程序都需要花数月时间进行数据发现、数据提取、数据清理和数据管道工程设计，因为它几乎没有数据文档和通用的标准可用。该公司启动了一项集成的技术现代化计划，该计划涉及从内部部署到基础的云优先方法的转变以及一个数据操作模型，该模型基于联合的，标准的数据架构和规范的基于域的数据治理而扩建。这样就可以创建可重用，可持续和易于访问的数据资产，从而大大减少数据工程的时间并提高应用程序的稳定性和可维护性。数据域以用例和价值回馈的方式与业务一起得到开发和实施。

我们的研究表明，这个例子并非异常。如果没有清晰的可用数据，数据用户可能要花费30%到40%的时间来搜索数据，如果没有可靠的数据控件，他们可能将20%到30%的时间用于数据清理。而高效的数据治理可以减少这类麻烦。建立数据字典，创建可追溯的数据沿袭并实施数据质量控制，这些做法可以显著提高生产力和绩效。

同时，公司不想施加太多的限制而导致治理本身成了一个代价高昂的障碍。只要关注范围，将严谨性与风险结合起来并应用技术，组织就可以帮忙取得适当的平衡。我们建议组织根据需求，价值和风险来确定工作重点，而不是试图治理所有的数据源和使用。例如，先进的组织往往会限制数据治理的范围，如少于50个报告和2000个数据元素。

考虑到合规性和其他需求，组织必须做出调整，搞清楚哪些活动需要最严格的数据协议，哪些活动仅需要基本的数据卫生。例如，营销组织可能希望对敏感的客户数据采用比事件计划数据库更为稳健的控件。组织在所有的功能间取得平衡——从数据字典的广度和深度到应用数据控件的频率和精度。例如，有一家北美银行在数据沿袭上(data lineage)花费了1亿多美元，它通过缩减所需的粒度(从数据元素级别到数据馈送级别的粒度)并在数据元素样本中进行交易测试来做出补偿。

善用技术还可以提高绩效和成本。有一家北美银行的反洗钱(AML)流程的误报率高达95%。该银行的40人反洗钱团队为了找出这些误报的案例而不堪重负。为了解决这个问题，首席数据官们严格遵守机器学习模型的合规性和分析，该模型减少了误报次数并将反洗钱帐户审核工作减少了75%。

简化数据消耗

根据我们的经验，企业每天生成的报告中有30%到40%几乎毫无价值。有些是重复的，有些则没有得到使用，结果浪费了大量资源。

为了更高效地管理消费，一流的公司按主题制定各种报告，例如商业报告和董事会报告。然后，他们会重新设计数据收集流程，将管道自动化，研究新的方法来对数据进行建模和可视化并以无纸化方式部署各种成果。快速的原型制作和测试周期完善了报告生成过程。这种整体方法有助于在整个组织中将生产综合起来，从而确保生成的报告和度量标准都十分高质量并且无需花费太多精力来打理。有一家欧洲银行使用此类方法将报告数量减少了80%并将与报告相关的成本减少了60%。

组织可以通过自助服务为员工提供商业智能功能，从而获得更多收益。其余的业务智能资源则可以专注于更复杂的报告需求和问题补救措施。

采用数据驱动的方法来优化其他职能部门的成本

组织不仅可以通过两种方式来节省成本，即提高数据功能内的效率和性能或应用数据来确定业务其他部门的潜在成本节约。采购是一个特别有前景的领域。例如，只要使用人工智能，企业就可以检测到不同地点的高于平均水平的能源消耗率或非典型的出行成本的规律，然后利用这些洞察，就如何获得更高的效率提供建议。同样，专用算法可以扫描各种发票、供应商数据、合同数据和服务使用情况，从而发现基本支出中的异常情况。在某些组织中，这种做法有助于降低总采购成本，降幅高达10%。例如，有一家欧洲家庭电器制造商使用高级分析功能扫描了5000家供应商的1200万张发票，从而发现了将总成本降低7.8%的机会。

调动降低数据成本的计划

组织实施数据成本削减计划的程度和速度取决于其战略目标和当前的经济环境。有些企业可能希望将节省出来的大部分数据成本算到利润里。另一些企业可能希望尽快将自身的功能现代化。无论速度是快是慢或规模是大是小，我们建议组织通过以下工作来奠定基础：

要重视数据成本，将其视为一项跨职能的工作重点。首席财务官(CFO)、首席采购官、业务主管以及关键数据和技术负责人需要参与进来。有这样一群人的支持非常重要，因为大多数数据成本通常不是由数据组织内部负责的，很多情况下是共同监督的。 创建当前支出的清晰视图。制定跨职能的基准，该基准必须同时考虑到直接成本(例如，硬件和软件的许可费以及数据办公室员工的报酬)和间接成本(例如，管理和补救数据质量，手动编制用于月度报告的数据所涉及的高效的相当于全职人员的人)。 尽早估算潜在价值以吸引注意力。通过预期的影响和可行性快速发现各种省钱的机会并确定其大小和轻重缓急。着力于最大的机会，而不是探索各种可能性。 为此工作指定明确的负责人。这样可以确保有人负责和执行高效的协调工作。在许多组织中，数据成本计划由数据组织内的负责人在首席数据官的监督下进行管理。

减少数据成本的计划除了可以带来近期的收入影响外还可以创建更高效的数据基础。当这些组织在冠状病毒流行时崭露头角时，这些付出将使组织能更快地进行转型并使他们准备好长期保持领先地位。