联发科：正式介绍了AI策略，详细解析了NeuroPilot 平台

去年华为率先推出了全球首款人工智能（AI）移动处理器麒麟970之后，苹果也发布了集成了AI内核的A11处理器。上个月高通也发布了号称是其第三代人工智能平台的骁龙845。显然，支持人工智能已经成为了智能手机芯片的一大趋势。今年CES期间，联发科也正式宣布推出NeuroPilot 人工智能平台。1月31日下午，联发科技在北京召开了媒体沟通会，正式介绍了联发科的AI策略，详细解析了NeuroPilot 平台。

人工智能技术走向成熟，边缘计算成大势所趋

“AI视觉和AI语音是人工智能的两大重要应用方向。虽然AI技术几十年前就已经存在，但是由于其错误率较高，所以难以走向实际应用。比如在AI视觉方面，以前错误率在30%左右，而到了2012年时候深度学习加入之后便有很大突破，目前AI视觉的错误率已经降低到了2.25%，这已经超过了人的肉眼识别能力（错误率5.1%左右）。

同样，在AI语音方面，2017年谷歌已经将错误率降低到了4.19%。而在嘈杂情况下，人的辨识错误率为5%左右。

以上的这些数据都反应了，AI在视觉和语音识别方面的准确率已经接近甚至超过了人，正因为如此，AI的应用才能够开始走向爆发。

目前的人工智能应用更多的还是依赖于云端，而随着技术的发展，在终端侧部署人工智能已经是大势所趋。

相对于云端人工智能来说，在终端侧部署人工智能有四大优势：

1、可以降低延时，提升反馈的速度。如果人工智能计算完全放到云端的话，就需要设备把数据全部传输到云端，然后等待云端进行处理之后，再将信息传输回来，才能做出反馈。显然，这样可能会出现延时性。所以，人工智能的操作和运算最好是发生在离它最近的地方，这样可以实时的对数据进行处理，并做出反馈。这对于自动驾驶等对于延时要求较高的应用来说尤为重要。

2、有利于用户隐私的保护。很多用户不喜欢将数据传输到云端，因为这可能会有隐私泄露的风险，而且再数据传输的过程当中也有可能会出现泄露的风险。

3、可以降低对于网络连接的依赖。如果人工智能完全依赖于云端，那么在没有网络的情况下就无法使用，显然这将极大的影响用户体验。而在终端侧部署人工智能则能够在一定程度上摆脱网络的限制。另外，随着接入网络的智能终端数量越来越多，随时随刻都会产生大量数据，如果所有的数据都依赖在云端处理，这将会对于网络带宽提出非常高的要求。不但会增加用户对于网络带宽成本的支出，也会增加云端服务提供商对于网络带宽成本的支出。

4、有利于功耗的降低。首先，如果所有的数据都传输给云端来处理，无疑将极大增加云端计算的功耗。据联发科介绍，现在我们整个云端的功耗已经占整个地球的大概5%左右的电力。而且大量的数据从终端通过无线网络进行发送和传输也会提升终端的功耗。所以终端能够进行AI处理的话，将会把整个系统的功耗降下来。

正因为如此，此前联发科总经理陈冠州就曾表示，“现阶段（联发科）的AI的策略是瞄准边缘端”。联发科认为，鉴于数据，AI的技术需要经历学习和应用两个阶段。AI的学习体现在云端，应用是在边缘端；成熟AI的学习能够移植到边缘端，用户的体验才是最好的。

NeuroPilot人工智能平台详解

为了推动人工智能在边缘的部署，在今年的CES展会期间，联发科正式推出了NeuroPilot 人工智能平台。这个平台通过整合联发科的SoC当中的CPU、GPU、APU（AI处理器：Artificial intelligence Processing Unit）及软件（如NeuroPilot SDK），来形成一个完整的人工智能解决方案。也就是说，CPU、GPU、APU都会参与到人工智能运算当中。

联发科技CTO办公室协理林宗瑶表示：“通常来说，CPU主要是负责控制的功能，GPU负责运算功能，APU则是对整个AI运算做特殊的加速。事实上，CPU、GPU也能够做AI运算，只不过效率会比APU差，但是比APU更具弹性，APU没法做其他无关应用。而现在AI功能并不是所有都需要APU来加速计算，有些会放在CPU、GPU上来做（比如英特尔会在CPU当中加一些AI功能，Nvidia则是在GPU里加一些AI的功能 ），所以我们才做异构运算，不同的工作我们会根据它的特质，把它放到APU/CPU/GPU上面。比如，如果它是一个平行运算量很高的应用，而且它需要的是浮点性运算的话，我们就把它放 GPU 到上面来。如果它需要定点性运算，而且需要长时间运算，功耗比较低，所以需要有效率的运算的话，我们放到APU。如果它是一个很多控制的运算，我们就把它放到CPU上。我们会根据它下一个指令与下下一个工作的分布，去看这个工作需要放到CPU、GPU还是APU，这个其实跟早期的我们CorePilot 有点类似。CorePilot做的是大小核，哪些工作放大核，哪些工作放小核，这些是透过类似像scheduler（调度程序）的概念。我们现在把CorePilot的功能从大小核演变到它可以去和CPU、GPU、APU做异构运算。 联发科过去在大小核这边是领先的，所以我们会延续下去。”

可以说，联发科的这个NeuroPilot 人工智能平台的异构计算与高通通过骁龙神经处理引擎软件框架来调用骁龙SoC当中的CPU、GPU、DSP来实现异构的人工智能计算的形式有些类似。主要都是通过软件根据需要来合理分配SoC当中的资源来做人工智能计算，这样更加的灵活，更加的高效，并且对于各类APP应用也有很好的兼容性，方便调用。

不同的是，高通主要是通过其DSP来做AI计算加速。而联发科的NeuroPilot人工智能平台则是通过APU这个单元。而这个APU并不是一个固定的人工智能处理器。

“这里的APU是一个AI处理器的统称，我们会根据不同的市场定位和需求采取不同的配置，它既可以是一颗DSP，也可以是两颗DSP，也可以是NPU，或者是其他的组合。更具有灵活性。”林宗瑶解释到。

此外，NeuroPilot平台有完整的API支持，可同时支持高中低阶API，可以兼顾到客户可移植性跟客制化的需求。比如，对于一些需要High level的API framework支持的APP，NeuroPilot支持了市场上现有的众多AI架构，包括Google的TensorFlow、Caffe、Caffe2、Amazon的MXNet、Sony的NNabla等。让这些合作伙伴可以去写一些东西。

而对于人脸解锁、人脸支付一类的需要软件深度结合（避免一些安全性的问题）的Pre-built的应用，联发科则是通过与一些战略性合作伙伴（比如国内商汤、旷世等）来实现。而这些合作伙伴的需求则是既希望客制化，又希望可以很容易复制到其他平台上去。基于这样的需求，联发科提出一个Runtime中间层，把一些比较通用的AI应用的运算概念装在里面。再提供一些客制化的接口给合作伙伴提供客制化的需求。

林宗瑶表示：“之所以采用这样的设计，一方面是由于合作伙伴不希望自己定制的一些AI指令让别人知道，所以他们会希望直接从上面对接到最底层来。另一方面，他们希望自己的这些AI指令能更有效的运行。所以有这样的架构，基本上这些深度优化的合作伙伴，可以同时兼顾到垂直性和客制化的需求。”

除了提供人工智能处理器，联发科也推出了NeuroPilot SDK开发工具包，让开发者得以更为便利地采用联发科芯片，打造AI应用程序与功能。

“我们的工具包分为从最上层的系统 level 到中间的runtime level到后面底层的各个level都有提供。怎么从系统层级到 runtime level，到加速器的层级，这加速器包括 CPU、GPU、APU。那我们合作伙伴可以很容易的去做一些 debug 的开发工作。NeuroPilot是一个跨平台、跨产品线的架构，所以在不同的操作系统上（Android，Linux…），AI应用开发商看到的NeuroPilot架构是一样的，当然这个架构会在最底层做一些差异化。也就是说，今天我们在Android平台的开发一个AI应用，它可以不做转化就把这些应用直接搬到Linux上做运行，可以大幅度减少开发商的工作，这是蛮重要的一个特点。你只要写一次，基本上就可以跨到很多平台上面。”

可能前面关于联发科NeuroPilot人工智能平台的介绍似乎有些偏技术，有些不太好理解。不过，我们需要知道的是，联发科的NeuroPilot人工智能平台不仅括了CPU、GPU、APU等硬件单元，也包括了软件框架和NeuroPilot SDK，是一个完整的人工智能解决方案平台。同时它还是一个开放的、跨平台、跨产品线的架构。这也意味着联发科的NeuroPilot人工智能平台具有很强的普适性，结合NeuroPilot SDK可以帮助AI开发商非常容易的实现跨平台、跨产品线的部署。

联发科：我们要做AI普及者！

相对于去年就推出AI芯片的华为、苹果，以及号称已经发展到了第三代AI处理的高通等手机芯片厂商来说，联发科可谓是一个后来者，直到去年年底才透露将会在今年推出AI芯片。不过这并不代表联发科已经在这场竞争当中面临失利。

业内常说AI的三个关键要素是：算力、算法和数据。而对于芯片厂商来说，AI芯片则是算力和算法的结合，不过除了这两点之外，功耗和成本也是需要关注的关键点。如果避开功耗和成本来谈算力就是有点耍流氓了。另外需要注意的是，AI芯片将AI算法和软件固化在了芯片当中，只有支持特定的算法和接口的AI应用才会有比较好的加速效果，这也意味的采用专用AI芯片，其可扩展性和软件可移植性要相对较差。

我们都知道联发科的芯片一直一来都不是单纯的以性能见长，更多的强调的性能和功耗的平衡，以及性价比。同样，联发科的AI芯片定位也是如此。相对于集成了专用AI芯片（NPU）的苹果A11、麒麟970来说，虽然其AI计算性能可能更强，但是其功耗和成本也更高。而联发科的NeuroPilot人工智能平台更多追求的是AI性能、功耗与成本的平衡，同时也兼顾了可扩展性和软件的可移植性。这也使得联发科将自己定位为终端人工智能的推动者和普及者。

相对于高通、苹果、华为等AI芯片厂商来说，他们目前更多的关注点还是在智能手机市场，特别是在高端智能手机市场。而联发科关注的则是如果将AI带入到中低端手机当中，带入到联发科现有涉及的智能电视、路由器、物联网、车载电子、智能音箱等众多智能设备当中，成为终端人工智能的普及者，让更多的用户体验到AI所带来的改变。

以当下非常火爆的智能音箱设备为例，目前更多的还是依托于云端来实现人工智能，未来智能音箱也或将在终端侧部署人工智能，可以进一步提升语音识别的准确度、降低延时、降低对于网络的依赖。

目前市场上最火的智能音箱产品当属亚马逊的Echo，其次是谷歌的Google Home。根据市场调查公司 Strategy Analytics公布的最新统计数据显示，2017 年 三季度全球智能音箱出货量达到了740万台，较 2016 年同期暴涨了708%。其中亚马逊拿下了近7成的市场；谷歌也拿下了两成以上的市场。其次分别为京东（1.6%）、小米（1.3%） 和阿里巴巴（0.9%）。

而在去年，联发科凭借MT8516成为亚马逊Echo新一代智能语音助理产品的唯一芯片供应商。这也意味着，联发科凭借与亚马逊的合作一下子就将占据近70%的智能音箱市场。此外，阿里巴巴的天猫精灵X1也采用的是联发科的MT8516方案。

在物联网市场，特别是在终端数量巨大的共享单车市场，联发科的2G模组、蓝牙解锁、卫星定位产品拿下了很大的市场份额。仅在2G模组上，联发科所占份额超过九成。值得一提的是，市面上近一半的共享单车都使用联发科的MT2503芯片模组。而随着共享单车开始换装联网智能锁，联发科也或将有望抢下部分市场。去年MWC联发科推出了旗下首款NB-IoT系统单芯片MT2625，并携手中国移动发布了尺寸最小的NB—IoT通用模组。去年11月，联发科还发布业界首款支持3GPP R14版标准的NB-IoT双模芯片MT2621。

另外，WiFi和蓝牙传输模块的产品线也是联发科争夺物联网市场的利器。因为，不论是智能电视、智能音箱还是笔记本电脑，都需要WiFi联网。联发科在WiFi 802.11ac标准中的市场占有率正在不断增加，根据此前数显示，这个分支部门目前每年都有超过10%的营收增长。

而最新的消息显示，下个月即将上市的苹果智能音箱HomePodH的Wi-Fi定制芯片（ASIC）也是由联发科供应的，该芯片也有望是联发科首款7纳米制程芯片，ASIC被联发科集团视为未来重点项目，其子公司聚星，在董事长梁公伟亲自带队下主攻ASIC应用，目标成为成长最快速的ASIC供货商。

智能电视和智能电视盒子也是联发科的强势市场，目前众多的智能电视品牌和智能电视盒子厂商都有采用联发科或Mstar（早已被联发科收购）的方案。

2016年底，联发科正式宣布进军车用芯片市场，并于2017年初推出了汽车及工业级应用的高精度定位全球卫星导航系统解决方案MT3303。该方案集成GNSS和内存芯片, 可支持GPS、Glonass、Galileo和中国北斗等四种全球卫星导航系统规格。去年二季度这款芯片已经正式出货。

而在智能手机市场，虽然联发科自去年下半年以来遭遇了诸多挫折，不过现在已经重回升势，夺回了不少丢失的中端市场，去年下半年出货的Helio P30/23都取得了不错的市场表现。而近期联发科的两款全新的中端芯片P70、P40也被曝光。

特别值得一提的是，Helio P40和Helio P70都加入了对于AI的支持，通过DSP来进行AI运算，支持caffe 1/2、Google TensorFlow等。

在此次媒体沟通会上，联发科也透露，将会在即将到来的MWC展上正式发布AI芯片。如果不出意外的话，应该就是Helio P40和Helio P70。

从上面的介绍我们不难看出，相对于其他AI芯片厂商来说，联发科不仅在中低端智能手机市场占据了重要的市场地位，在智能电视、物联网、智能音箱等智能设备也占据了很大的市场份额，此外在增长潜力巨大的车载电子市场也有布局。而在这些成绩的背后，都是联发科自己的SoC芯片技术、有线/无线联网技术、ISP视觉、语音编解码引擎、多媒体技术、传感器技术等众多IP的来支撑的。

“能够同时拥有这么多技术，然后同时可以应用到这么多产品线的，放眼全球就联发科一家公司。这也使得我们的NeuroPilot AI平台除了提供最基本AI功能之外，还可搭配我们这些技术，一起去支持这么多产品线。开发上只需一次编程，就可以同时部署到很多产品线，所以可以很快把一些AI的应用扩散到很多角落去。”

“虽然我们不是AI的先行者，但是我们希望做AI的普及者！”林宗瑶非常有信心的说到。