业界首款智算中心算力调度软件！浪潮重磅发布AIStation推理平台

业界首款智算中心算力调度软件！浪潮重磅发布AIStation推理平台

• 来源:网络
• 更新日期:2020-04-23

摘要：4月9日，2020浪潮云数据中心合作伙伴大会（IPF2020）在线上举行，浪潮重磅发布全新AIStation人工智能推理服务平台，这是业界首款智算中心算力调度软件产品，是专为企业级AI生产环境打造

4月9日，2020浪潮云数据中心合作伙伴大会（IPF2020）在线上举行，浪潮重磅发布全新AIStation人工智能推理服务平台，这是业界首款智算中心算力调度软件产品，是专为企业级AI生产环境打造的AI推理服务平台，可实现推理服务资源敏捷调配，支持多源模型统一调度，使模型部署从几天缩短到几分钟，将有力地帮助企业轻松部署AI推理服务，从而大幅提升AI交付和生产效率。

当前，AI模型开发进入到生产部署阶段面临着多重困难和挑战：AI模型需要经过大量的调试和测试才能部署上线，这一过程通常需要2-3天；AI线上服务计算资源一般较固定，对于突发需求资源响应慢，业务扩展难；AI模型来源不同，统一管理也很困难。企业希望可以无缝衔接AI模型训练开发与推理部署，进行高效的资源调度和模型管理，缩短业务上线周期。

最新发布的浪潮AIStation推理平台是企业级AI推理服务平台，通过弹性可伸缩架构、低延迟轻量化设计、A/B测试滚动发布、多模型加权评估等重要技术创新，帮助企业高效利用AI计算资源，快速部署推理服务。AIStaion推理平台具有一键部署、快速响应、日志监控、资源管控、数据处理等功能，是功能全面强大的AI资源平台。

AIStation推理平台支持本地On-Premise和云端Cloud部署，保证服务的可获得性和业务连续性，实现了AI模型从开发环境到生产部署繁杂过程的自动化快捷操作，将模型部署时间从两三天降低到几分钟。

在资源调度方面，AIStation推理平台能够敏捷调配服务资源。采用创新的弹性可伸缩架构，可根据推理服务资源需求的变化及时调整资源配给，将响应突发需求的实例部署时间从几小时缩短到几分钟。并且支持新模型发布前A/B测试，在实际业务场景中验证模型有效性，保证推理业务的安全、可靠，同时避免了流量切换所导致的集群负载压力。

在模型管理方面，AIStation推理平台实现了多源模型统一调度。通过统一平台管理多源、多场景模型的推理服务，实时掌控全局资源，对模型服务实现综合调度和动态部署。同一资源池可同时支持多家模型服务，将资源利用率从40% 提高到80%。并且可实现多模型加权评估，通过对不同预训练模型的计算结果进行自定义权值设置，有效提升实际业务场景中预测结果的可靠性，构建可靠可信的智能系统，有效降低误判率。

之前浪潮推出的AIStation训练平台已经获得广泛应用，该平台通过计算资源细粒度调度、训练数据缓存加速、分布式训练自动编排等策略，使用户的AI计算资源利用率提高到90%以上，大幅缩短了模型开发周期。随着本次浪潮AIStation推理平台的面世，AIStation资源平台全面支持训练与推理两大场景，实现从模型开发、训练、部署、测试、发布、服务的全流程一站式高效交付。

浪潮AI&HPC总经理刘军表示：“智算中心是人工智能新基建，它生产和供应人工智能计算力，是社会经济运行的智慧基础设施。而要让智算中心充分释放算力，就需要按需灵活调度算力。AIStation对于智算中心新基建的意义，就相当于电厂和电网的核心调度系统，它能够根据AI应用需求高效调度AI算力资源，帮助企业加速AI研发创新、提速AI生产交付，让企业更专注于AI开发本身，从而赋力更多创新可能，加速AI落地应用。”

浪潮是人工智能计算的领导品牌，AI服务器中国市场份额保持50%以上，并与人工智能领先科技公司保持在系统与应用方面的深入紧密合作，帮助AI客户在语音、语义、图像、视频、搜索、网络等方面取得数量级的应用性能提升。浪潮与合作伙伴共建元脑生态，共享AI计算、资源与算法三大核心平台能力，助力行业用户开发并部署属于自己的“行业大脑”，加速推进产业AI化落地。