苏州超集：如何为深度学习加速？
从20世纪80年代以来，深度学习在算法、理论和应用等方面都获得巨大成功。
在人工智能的潮起潮落中，2006 年以来，“深度学习”开始成为一个新的科研热点，开始深入到很多行业，在很多应用领域获得成功，相关的研究工作也得到了大力推广。
而随着各行各业数据量增加，类型增多，数据结构也趋于复杂化。传统的数据中心平台设备部署相互独立，需要较大的部署空间，存在着部署难、成本高等缺点，难以满足用户的要求。同时，软件、基础硬件、依赖包等品牌的类型众多，CPU型号多，不同的任务所需资源各异，增加了选型难度；此外，系统架构部署相对复杂，各种框架、模型的适配困难；系统容易出现各种故障，维护复杂等问题凸显。
为了应对这些庞杂的需求，苏州超集信息科技有限公司（以下简称“超集信息”）开发的深度学习AIO解决方案，为科研和应用领域提供一站式部署以及前所未有的便利与高性能。
软硬集成 助力轻量级AI业务快速上线
超集信息的深度学习AIO 解决方案采用软硬一体化概念，深度融合机器学习平台与传统硬件，将第三代英特尔® 至强® 可扩展处理器作为核心算力支撑，部署了自研的AI Max深度学习平台并集成英特尔® OpenVINO工具包，充分利用AVX512特性，助力轻量级AI业务快速上线。
同时，该一站式方案可配合用户算力需求，支持高度定制基于第三代英特尔® 至强® 可扩展处理器的一体机的硬件配置。将现行的深度学习框架进行了整合和性能优化，封装大量底层操作，出厂前完成功能调试，实现开箱即用，大大降低深度学习从业人员的技术门槛。
打造专属的深度学习应用平台
AIO解决方案包括计算节点，存储节点和管理节点三部分：
计算节点
采用搭载的第三代英特尔® 至强® 可扩展处理器的高性能服务器作为计算节点，并在其上部署英特尔® OpenVINO工具套件。
英特尔® OpenVINO工具套件为用户提供了出色的深度学习推理工具，在第三代英特尔® 至强® 可扩展处理器增强的 AVX-512 指令和 VNNI 指令的加成上，极大地提升了推理的性能。英特尔® OpenVINO不仅提供已经训练好的主流深度学习模型，而且提供模型转换器将FP32模型转换为INT8模型，在可接受的精度损失下，提供成倍的推理性能提升。
Al Max机器学习平台是一款基于Docker+Kubernetes的全容器化人工智能容器云平台，深度整合了第三代英特尔® 至强® 可扩展处理器的加速特性，并将OpenVINO工具套件深度集成到AI Max机器学习镜像库，充分利用AVX-512指令集和Deep Learning Boost加速技术，能有效实现异构资源的高效管理、调度和监控，提供了从模型开发、训练到部署的完整流程和工具。广泛适用于教育、科研、金融、医疗、能源各个行业；能极大降低人工智能进入门槛，提高人工智能创新和研发的效率。
AI Max 机器学习平台的核心优势：
1) 具备智能的资源调度能力，按照CPU、Memory等使用情况动态调度资源，针对不同的优先级需求，保证任务最优分布，最大化提高资源使用效率，实现优先抢占、择优使用、按需分配、自动释放；
2) 提供丰富的机器学习镜像库，支持用户进行自由定制镜像，支持用户私有镜像的分享，提高镜像获取的效率、减少存储空间要求；
3) 支持通过VNC、SSH等方式进行模型开发调试，支持远程Debug和运行环境保存；
4) 基于SR-IOV容器网络接口，使用RDMA协议进行网络通信和数据读写，支持NFS本地缓存和基于GlusterFS的分布式存储，支持分布式训练和存储；
存储节点
采用搭载第三代英特尔® 至强® 可扩展处理器的多盘位服务器构建统一存储池，支持文件、对象、块存储，为用户提供高性能、易管理、易维护的存储平台。
管理节点
采用搭载第三代英特尔® 至强® 可扩展处理器的服务器作为管理节点，相比第二代英特尔® 至强® 可扩展处理器，第三代有着杰出性能提升，具有高性能、高稳定性、高可靠性的特点。
深度优势整合一站式解决方案
超集信息的深度学习AIO 解决方案融合传统硬件与深度学习软件，AI Max作为统一的资源调度管理平台，融合第三代英特尔®至强®的强大计算资源，打造软硬件一体的深度学习平台，加快平台中的快速整合，安全高效的数据管理，全面细致的监控管理，简化并降低开发人员开展深度学习研究的复杂度和门槛。
1
唯一内置深度学习加速的数据中心级处理器
第三代英特尔® 至强® 可扩展处理器是目前唯一内置人工智能加速功能的数据中心处理器。与第二代相比，第三代处理器采用均衡优化的架构，提升核心性能、内存和I/O带宽，通过AVX-512指令集和Deep Learning Boost加速从数据中心到边缘的各种工作负载技术。
第三代英特尔® 至强® 可扩展处理器的加速特性能在各种平台中被快速整合，AIO解决方案深度整合相关性能特性，为用户提供极致的性能体验。
2.
基于英特尔® OpenVINO的高效推理性能
英特尔® OpenVINO内包含大量预训练模型，这些模型已经由英特尔®调优和封装，方便用户二次开发。用户可调用OpenVINO模型转换器，将模型转换后对模型进行优化，实现深度学习模型成倍的性能提升。此外，它还支持模型精度转换，可将预训练的FP32模型转换成INT8模型，降低精度损失，保障推理的准确性、完整性与时效性与第二代相比，OpenVINO模型推理在第三代英特尔® 至强® 可扩展处理器上的推理性有明显的提升。
3.
高效集成、灵活可扩展的一站式解决方案
与市场上的常规解决方案相比，深度学习AIO解决方案在出厂前完成软硬件集成，并作为一站式解决方案交付：
- 简化深度学习环境的部署复杂性，提高资源利用率；
- 提高训练和推理环境的适用性，突破性能瓶颈；
- 具备资源调度、镜像定制、模型开发调试等功能；
- 安全高效的数据管理，全面细致的监控管理。
此外，方案支持灵活调节节点的数量和配置，可以很容易地扩展到更加广泛的行业应用和客户群体中去。
结束语
作为一家以数据中心、高性能计算以及OEM解决方案的领先企业，苏州超集信息科技有限公司正凭借42年IT整体解决方案经验、12年HPC计算解决方案经验和8年AI计算解决方案经验, 致力于攻克复杂计算挑战,满足产品研发需求,集成虚拟化应用,立志成为全球定制化解决方案的先行者。