从京东 618 导购机器人说起，机器如何更理解人类？

从京东 618 导购机器人说起，机器如何更理解人类？

• 来源:网络
• 更新日期:2020-06-17

摘要：今年 6 月，京东一年一度的 618 店庆拉开帷幕。许多京东用户发现，在今年的 618 中，京东上线了全新的 AI 导购机器人 JOY，它沿用了京东经典的机器狗形象，可以为用户解答 618 店庆相

今年 6 月，京东一年一度的 618 店庆拉开帷幕。许多京东用户发现，在今年的 618 中，京东上线了全新的 AI 导购机器人 JOY，它沿用了京东经典的机器狗形象，可以为用户解答 618 店庆相关问题。

面对京东用户们提出的各种各样的问题，JOY 大多能给出令人满意的回答，甚至可以和用户闲聊扯家常。此外，JOY 也强化了自己的多轮对话能力，以便应对用户的反复追问。

在京东 JOY 强大的对话能力中，基于开放域目标驱动的生成式对话服务来自于人工智能企业 深思考人工智能 （iDeepWise.ai）。其在多模态深度语义理解、人机对话等核心 AI 技术上已不断突破创新。这些新技术的不断迭代，也在一步步推动 AI 实现商业化落地。

AI 对话机器人背后的黑科技究竟是什么？

AI 人机对话在商业化落地中有很多场景，如智能客服、服务机器人、智能外呼、智能终端的交互、智能家居的交互、电视机语音交互遥控器等等。而这些人机交互场景背后的基础技术，就是人机对话技术，其中最核心，则是语义理解技术。

智能客服，可能是眼下最常见的人机对话场景。许多人对于 AI 对话能力的体验，也是从智能客服开始的。然而，如果智能客服欠缺语义理解技术，或者语义理解技术不够好，就会出现如下现象：

某平台的 智能客服 ，无法理解用户的自然语言

以往，人机对话产品的回答策略大多基于 规则 ，即在系统内提前录入指定关键词，一旦用户触发指定关键词，智能客服便会给出对应回复。

例如，在智能客服领域，当系统监测到用户的提问涉及 查快递 一词，就会自动给出物流信息。但面对 帮我看看我的快递到哪了 一类的复杂提问方式，智能客服便无能为力。

甚至，当用户询问 需要检查快递员身份吗 等问题时，同样会触发 查快递 一词。这时，系统甚至会给出南辕北辙的回答。

相比较上述人机对话的糟糕表现和体验，使用深思考深度语义理解与人机对话技术的产品，则体验和表现就相当优异，如下截图：

深思考机器人：可以了解用户的喜好个性化对话

深思考智慧营销机器人：根据历史上文信息，给出推荐

深思考 AI 问好医：AI 学习医生知识后自动对健康咨询上下文回复

深思考 iDeepwise 将数据和 AI 模型驱动的深度语义理解及 MRC 技术作为人机对话产品的核心。其自研的多模态深度语义理解引擎依赖在 NLG（自然语言生成）、MRC（机器阅读理解）以及 DM（对话管理）等任务上的原理性创新，让 AI 能够读懂用户自然语言，并给出针对性的回复。

在精准理解用户意图的同时，深思考的多模态深度语义理解引擎还可以在对话中不断了解用户，了解用户的画像及个性化需求及兴趣，并基于用户画像与客户展开个性化的对话与推荐。

此外，它还可以根据场景，给予对话机器人不同的性格 人设 ，让用户感觉到 AI 对话机器人服务独有的情感体验。这项黑科技可以赋予 IP 形象以 生命 ，使 IP 形象成为虚拟世界里拥有不同 鲜活性格 的 AI 虚拟人 ，并体贴、关怀用户。

深度的多模态语义理解技术，也让深思考在 AI 人机对话领域形成了领先优势。据了解，2020 年 6 月在中国中文信息学会（CIPS）和中国计算机学会（CCF）主办的中文语言理解的全球权威赛事 2020 语言与智能技术竞赛 上，深思考在全球 1000 多家参与单位中脱颖而出，在机器评测指标和人工评估指标中均登顶榜首，获得全球冠军。

据了解，取得这一成绩，是因为深思考团队提出的 多源整合的解码器 的深度神经网络模型技术。该技术在 AI 人机对话上能流畅地引导用户交流，主动沟通，并和 MRC 机器阅读理解、用户画像、目标规划深度结合，适配多场景应用，可以迅速迁移多个场景。

深思考创始人杨志明博士表示， 腹有诗书气自华 ，让系统不停地博览群书、阅读理解大量信息，才能使机器对内容 能理解会思考 ，并实现自然流畅的人机交互。深思考多模态深度语义理解引擎 iDeepwise.ai 5.0 目前也正式发布应用，5.0 版本引擎能够阅读理解非结构化语音、视频、文本，试想让机器时刻不停地阅读理解互联网上的语音、视频和文本后，机器就会变得更 聪明博学 ，相信机器更理解人类的日子已经不远了。

深思考多模态深度语义理解与人机对话引擎 iDeepwise.ai 5.0 可以应用于诸多落地场景：比如电商、银行、保险、智能终端（音箱、手机、车机、智慧屏）、游戏、虚拟偶像中。

AI ——从感知走向认知

现在，感知阶段的人工智能走向认知人工智能是人工智能发展的必然阶段，多模态的深度语义理解是认知人工智能阶段中的关键核心。 深思考人工智能创始人杨志明博士对 36 氪表示。

何为多模态语义理解？简而言之，通俗化来讲就是让机器可以 看懂、听懂、读懂 。而深思考的人工智能多模态深度语义理解，就是让机器可以看懂视频图像，可以听懂语音，读懂文本等多模态非结构化信息背后的含义。

如何让机器能够阅读理解？这就依赖机器阅读理解技术（MRC），在 MRC 领域，深思考同样成果斐然。在 2019 年的中文机器阅读理解竞赛中，深思考凭借着自研的 BMANet2.0 模型，在 2502 家知名学术科研机构和企业团队中脱颖而出，刷新了 SOTA 记录，并在两项评测指标中均登顶榜首，获得全球冠军。

例如，在电商场景，传统的电商智能客服，需要系统开发商人工整理大量问答对、知识图谱、知识库或规则，并通过问答对匹配、规则匹配，实现人机对话。使用 MRC 技术后，系统就可以直接阅读理解商品的说明书，极大地提高了效率，减少了人力成本，并大大提高了智能客服的 智商 。

AI 商业化新基建——多模态语义理解

目前，产业界普遍认为，多模态语义理解将会成为 AI 在各行各业实现大规模商业落地的重要基础设施。这一逻辑背后的原因非常简单——现实世界本身就是多模态的。 就像你去医院看病，医生要望闻问切，对患者各种模态的状况进行检查（比如血、尿，体温，MR，详细咨询病情等），不能只凭线上聊天的几行文字就做出诊断。

多模态语义理解具备了同时多种模态信息进行深度理解的能力，所以适配的应用场景就更广泛，因为现实中的场景都是多模态的。例如，在医疗场景，医生会对就诊病人 望闻问切 ；电商场景，用户会在咨询时发来语音或图片或文本；在线教育场景，学生总是期待老师能够通过视频、音频和解说文字来教学，通过图文并茂实现更好的教学效果。就连人类的社交场景也是多模态的，人们总是期望能见面详谈，能面对面看到对方的样子、姿态、表情、声音，并通过对话、声音、视觉等多种模态信息，理解对方的意图。

人工智能多模态语义理解存在着广阔的商业前景，并有望成为 AI 行业的新基建。

凭借着在人机对话、机器阅读理解、多模态语义理解领域的技术积累，深思考已在智慧医疗、智慧生活、智慧商业三大 AI 场景成熟应用落地，并基于其 iDeepWise5.0 多模态深度语义理解引擎的技术优势，不断快速适配更多应用场景，在虚拟偶像、二次元平台、游戏等领域不断开疆拓土。让机器更理解人类，未来可期，也是深思考的未来不断探寻之路。