如何提高人工智能应用开发的生产效率

　　随着新技术的成熟，新型的先进应用将来自5G、人工智能（AI）和物联网（IoT）的融合，这种融合将创造出一个智能互联的全新未来，对所有个人、行业、社会和经济产生积极影响。Arm预计到2035年将有1万亿的物联网设备，在这些设备上实现本地人工智能，是人工智能应用的必然趋势。而要做到这一点，必须进一步降低人工智能的算力成本。
　　为此，Arm中国自主研发了“周易”平台这样一个适配性强、开放通用的人工智能平台，其主要包括软件框架Tengine和全新的硬件处理器——人工智能处理单元（AIPU），其中Tengine软件框架针对边缘设备的推理做了深度优化和实现。周易平台也支持Arm CPU、Mali GPU以及第三方硬件，专注于边缘推理，能够提高人工智能应用开发的生产效率。
　　
　　图1 ：人工智能平台“周易”概述

　　全新处理器单元（AIPU）提供硬件核“芯”
　　人工智能通常用于不同的场景，而深度学习模型会使用到各种类型的操作（layer）。目前常见的加速器解决方案具有较高性能，但仅支持有限的操作，这使得只能运行有限的人工智能应用，限制了边缘和AIoT产品的多样性，AIPU凭借良好的可编程性可以支持现在的全部深度学习操作。
　　周易人工智能处理单元（AIPU）是一个专门用于深度学习处理的全新硬件IP。这种新的架构设计了人工智能特定域张量指令集（Tensor Instructions）、针对AI特定操作的指令集扩展以及定制的硬件加速单元、以及用于NN计算所必需的通用标量指令集。凭借最先进的设计，AIPU可以实现人工智能应用的完全可编程性和很好的能效。除了AIPU，还有完整的AI软件开发工具包，支持AI算法可以在AIPU上轻松部署。
　　
　　图2 ：周易AIPU框图
　　AIPU采用了可配置的设计，张量执行单元（TEC）的数量和AI硬件加速单元能都是灵活可配置的，这使得周易平台能够涵盖从微控制器（几十GOPS）到高端边缘计算（几个TOPS）的不同算力需求。
　　对于新开发的芯片，周易平台可以让芯片合作伙伴使用周易AIPU IP设计新的SoC，并提供了验证测试向量、参考用例和后端实现参考流程等全面支持，以加速新的SoC设计；同时，周易AIPU 仿真软件用于软件应用程序前期开发。这将大大加快新人工智能产品的上市时间。

　　开放式人工智能软件框架——Tengine
　　周易平台采用Tengine作为开放式人工智能软件框架，它的目标是建立一个统一的推理框架，通过定义标准的Tengine API，人工智能应用程序可以使用标准API在不同的硬件上部署，大大节省了移植或者在特定的硬件上进行优化的工作量。Tengine支持主流的人工智能框架，如TensorFlow / Caffe / ONNX / MXNet等模型。
　　Tengine定义了标准硬件抽象级别（HAL），以支持物联网设备中可能存在的不同类型的计算模块。它已经支持像Cortex-A7 / A17 / A53 / A55 / A72 / A76这些的流行Arm CPU，也支持像Mali-T860、G51和G72这些广受欢迎的Arm Mali GPU。由于周易平台是一个开放平台，它也可以支持第三方CPU、DSP或加速器，通过选用设备驱动程序来支持这些设备。在库方面，可以选用Arm计算库（Arm Compute Library，ACL）、异构计算库（HCL）、开放源代码库（例如OpenBLAS）或是用户自己实现的库来驱动。

　　三大创新特性，强势赋能AIoT市场
　　实际上，周易平台作为人工智能应用的整体解决方案，十分简单易用，并且实现了三大创新。兼容性上，它不仅提供了一个完整的易于使用的工具链，支持从深度学习模型到周易可执行文件的一键构建，还支持常见的人工智能框架，如Google TensorFlow和其他框架。同时，周易平台支持Linux和Android操作系统，甚至裸机软件（bare-metal software），从非常小的嵌入式微控制器到高端边缘网关的各种设备都能适用。
　　周易平台还将更强的安全性引入市场，安全扩展硬件和相关的信任软件可以保护人工智能资产，例如算法、代码和数据，帮助合作伙伴保护运行在已部署产品上的资产，并保护人工智能算法安全的在线更新。周易平台的安全扩展为人工智能应用中需要保护的资产建立了一个可信执行环境（TEE），通过静态加密存储、运行时 TrustZone技术保护，以及SoC中用于安全隔离一系列小的硬件组件， 为人工智能芯片提供360度的安全保护。
　　适用性上，周易平台也支持在现存设备的上进行部署。通过统一的软件界面，许多人工智能应用可以直接部署在SoC上，合作伙伴只需重新编译基于目标设备CPU的周易软件，生成可在现有SoC架构上运行的目标代码，然后链接CPU库和GPU库。通过部署周易平台，人工智能性能可以提高2.5 - 5倍。
　　综上所述，Arm中国人工智能平台周易可以帮助产业合作伙伴大幅降低人工智能算力、芯片和应用的成本、让其设计和制造具有强大人工智能能力的芯片，并让人工智能应用程序开发人员大大提高工作效率，在更多的物联网设备上实现人工智能，极大地赋能整个AIoT市场。