百分点动态知识图谱如何“玩转”万亿级大数据 | 爱分析调研

百分点动态知识图谱如何“玩转”万亿级大数据 | 爱分析调研

• 来源:网络
• 更新日期:2020-06-30

摘要：指导 | 李喆调研 | 文奕 鲍怡廷 撰写 | 鲍怡廷 "" 新基建 " 理念下，大数据中心成为社会基础设施建设的一部分，城市数字化转型势在必行。面对如今大规模的数据量，如何服务好用户

指导 | 李喆

调研 | 文奕 鲍怡廷

撰写 | 鲍怡廷

新基建 理念下，大数据中心成为社会基础设施建设的一部分，城市数字化转型势在必行。面对如今大规模的数据量，如何服务好用户让数据成为社会发展的助推器是每一个大数据厂商面临的挑战。目前，数据智能头部厂商百分点已完成万亿级大数据平台搭建，应用知识图谱技术，让数据智能更好的服务客户，让决策更 智能 。

城市生活数字化将是未来发展的必然趋势，这也符合 新基建 的论调。基于 新基建 的蓬勃发展，互联网、移动互联网时代将加速向物联网时代转变。每个大数据厂商都要面对数据量剧增的考验。千亿级、万亿级的大数据平台建设工程将是城市数字化转型的关键一环。

AI+IoT+ 大数据 将是大数据时代的 铁三角 ，技术融合应用将显得更加重要，AI 让数据更智能，IoT 让数据更全面。面对技术融合的需求，大数据厂商需要丰富自己的 武器库 ，大数据与人工智能要做到 两手都要抓，两手都要硬 。

面对数据智能的变革时代，数据智能头部厂商百分点以技术驱动发展，采取国内、国外业务并行发展的策略，应对这次充满机遇的挑战。

01

应对超大规模知识图谱构建挑战，建设万亿级大数据平台

2009 年创立的百分点以个性化推荐的 SaaS 产品起家，在公司创建的前五年积累了针对于海量多源异构数据的处理和分析能力。在 2016 年，百分点响应国家的 一带一路 倡议，进行海外业务拓展活动。

在海外市场，百分点抓住建设国家级大数据平台的机会，让百分点积累的技术能力在强场景中落地应用。在海外与政府用户的沟通中，不仅使百分点对业务应用有更深刻的理解，而且国家级大数据平台的搭建，也让百分点在一次次的挑战中快速积累实力。正是在项目中的不断沉淀，使得百分点具备了建设万亿级大数据平台的能力。

面对万亿级的数据量，百分点设计了一套具有自身特色的平台架构，来应对超大规模知识图谱构建的挑战。百分点以 ClickHouse 为平台核心存储、以 Kafka 为消息通道，应用 SparkStreaming 进行实时数据处理，基于 ElasticSearch 实现跨数据中心的全文检索，同时基于 HBase+Ceph 封装百分点自研的 OSS 服务。

02

动态知识图谱应用， 玩转 大数据

百分点在做 千人千面 的个性化推荐系统时，已经形成一套早期的标签管理系统。但在不断深入企业级市场的过程中发现，单独描述实体属性的标签系统已经难以满足客户的需求。于是，百分点在标签系统中增加关系的刻画描述，而这正是知识图谱技术的雏形。

知识图谱技术于 2012 年由 Google 正式提出，最早广泛应用于搜索场景。企业级市场的需求促使百分点将知识图谱技术落地于行业场景内。在实际应用中，知识图谱可以梳理数据脉络，得到知识网络，更直观地看到数据关系，同时还可以进行知识推理，更好地服务企业级用户的大数据应用。

2018 年，随着人工智能及大数据技术的普及应用，信息呈现爆炸式的增长，加入时间维度的动态知识图谱应运而生。百分点是国内最早提出动态知识图谱技术的厂商之一，原先的知识图谱技术抛开时间维度研究实体与实体之间的关系问题，但在实际的场景中，时间维度是一项重要指标，很多场景下只有在特定时间段内，实体关系才是有价值的信息。

同时，百分点推出动态知识图谱的意义还在于其在知识图谱中同步新数据的过程更友好。数据在不断的更新过程中，系统不需要停止服务即可同步新数据，不影响业务层工作。

03

知识图谱让数据更 聪明 ，让决策更智能

人工智能与大数据相辅相成，更好的技术融合将是未来发展的主旋律。知识图谱的构建过程，需要处理大量的非结构化数据，如针对于文本信息需要 NLP（自然语言处理）技术等。这里就需要实现技术融合，而不是单独的大数据技术可以完成。技术在发展过程中不应被割裂，更好的技术融合会产生 1+1＞2 的效果。

百分点致力于将人工智能与大数据更好的融合，目前已自研 NLP 算法，在全球的项目中均有落地应用。同时，目前更多的技术融合是感知智能与大数据的技术融合，而认知智能是更高阶的智能，将数据与认知智能技术的融合也是百分点所追求的，认知智能 + 大数据的融合将使数据更 聪明 ，真正的可以做到推理判断、辅助决策，让决策更智能。

近期，爱分析对百分点首席架构师黄伟先生进行了专访，针对于百分点的产品服务、战略选择以及行业趋势等方面进行了深入交流，现将专访