2019年十大数据与分析技术趋势

近日，全球领先的信息技术研究和顾问公司Gartner指出，增强型分析（augmented analytics）、持续型智能（continuous intelligence）与可解释型人工智能（explainable AI）是数据与分析（data and analytics）技术领域内的主要趋势之一，并有可能在未来三到五年带来重大颠覆。

Gartner研究副总裁Rita Sallam表示，数据与分析领导者必须考察这些趋势对业务带来的潜在影响，并相应调整业务模式与运营，否则将失去与他人竞争的优势。

她指出：“从支持内部决策到持续型智能、信息产品以及任命首席数据官，数据和分析始终在不断演化。深入了解推动这一演化的的技术趋势并根据业务价值对其加以优先排序，至关重要。”

Gartner副总裁兼杰出分析师Donald Feinberg认为，数字化颠覆带来的挑战——即数据太多，同样也创造了前所未有的机遇。由云驱动的海量数据将实现更强大的处理能力，意味着现在可以大规模训练与执行算法，最终发挥出人工智能的全部潜力。

Feinberg先生表示：“数据的规模、复杂性与分散性质，以及数字化业务所需要的行动速度与持续型智能，意味着僵化且集中的架构与工具将会分崩离析。任何企业的长久生存都将取决于能够响应各种变化的以数据为中心的灵活架构。”

Gartner建议数据及分析领导者与高级业务领导一同讨论他们至关重要的业务优先事项，并探索如何利用以下主要趋势获得竞争优势。

趋势一：增强型分析

增强型分析是数据与分析市场内的下一波颠覆性技术。它利用机器学习（ML）与人工智能改变分析内容的开发、消费与共享方式。

到2020年，增强型分析将成为分析与商业智能（analytics and BI）、数据科学与机器学习平台（data science and ML platforms）以及嵌入式分析新增购买的主要驱动力。数据与分析领导者应在平台功能逐渐成熟时采用增强型分析。

趋势二：增强型数据管理

增强型数据管理利用机器学习功能和人工智能引擎来生成企业信息管理类别，其中包括数据质量、元数据管理、主数据管理、数据集成以及数据库管理系统（DBMS）自我配置与自我调整。它可以自动执行许多手动任务，便于不太精通技术的用户能够更加自主地使用数据，同时也让高技能的技术人员专注于价值更高的任务。

增强型数据管理将以往仅用于审计、沿袭及报告的元数据转而支持动态系统。元数据正在从被动走向主动，并且正在成为所有人工智能/机器学习的主要驱动因素。

到2022年底，通过加入机器学习与自动化的服务级管理，数据管理手动任务将减少45%。

趋势三：持续型智能

到2022年，超过一半的重要新业务系统将嵌入持续型智能，使用实时情景数据改善决策。

持续型智能是一种设计模式，其中实时分析与业务运营相结合，处理当前与历史数据，以便为事件响应行动提供建议。它能够实现自动化决策或为决策提供支持。持续型智能采用多种技术，如：增强型分析、事件流处理、优化、业务规则管理以及机器学习。

Sallam女生表示：“持续型智能让数据与分析团队的工作发生重大变化。这既是一个巨大的挑战，也是一个极大的机会，因为分析与商业智能团队可以在2019年帮助企业做出更明智的实时决策。它可以被视作一种终极运营型商业智能。”

趋势四：可解释型人工智能

人工智能模型越来越多地被用于增强与代替人类决策。但在某些情况下，企业必须证明这些模型是如何做出决策的。为了与用户及权益方建立信任，此类应用的领导者必须让这些模型变得更易解读与更易理解。

不幸的是，大多数这些先进的人工智能模型都是复杂的黑盒子，无法解释为何提出了某条具体建议或决策。而数据科学和机器学习平台中的可解释型人工智能将运用自然语言从准确性、属性、模型统计及特性等方面自动生成模型提供解释说明。

趋势五：图形

图形分析（graph analytics）是一系列可用于探索企业机构、人员与交易等相关实体间关系的分析技术。

2022年前，图形处理和图形数据库管理系统的应用将以每年100%的速度快速增长，以持续加速数据准备，并支持更加复杂且适配的数据科学。

图形数据存储可以跨越数据筒仓（data silos）高效地建模，探索与查询具有相互复杂关系的数据，但Gartner认为，特殊的技能需求限制了该技术目前的应用。

为了满足对于复杂数据的综合查询需求，图形分析将在未来几年内得到发展。利用SQL查询完成大规模的复杂查询并不总是切实可行，有时甚至无法完成。

趋势六：数据结构

数据结构（data fabric）支持分布式数据环境内的无摩擦数据访问与共享。其支持单一与一致的数据管理框架，通过克服孤立存储的独特设计，实现无缝的数据访问与处理。

到2022年，定制式数据结构设计将主要用作静态基础架构，促使各企业机构为完全重新的设计投入资金，进而实现更具动态的数据网格（data mesh）方法。

趋势七：自然语言处理/会话式分析

到2020年，50%的分析查询将通过搜索、自然语言处理（NLP）或语音生成，或者将自动生成。分析复杂数据组合以及让企业机构中的每个人都可以访问分析的需求将推动更广泛的采用，从而让分析工具变得如同搜索界面或与虚拟助理进行对话一样简单。

趋势八：商业人工智能与机器学习

Gartner预测，到2022年，75%利用人工智能与机器学习技术的新终端用户解决方案将采用商业解决方案而非开源平台构建。

商业厂商现在已经在开源生态系统中创建了连接器，为企业提供扩展与推广人工智能及机器学习所需要的功能特性，例如项目与模型管理（project & model management）、复用（reuse）、透明度（transparency）、数据沿袭（data lineage）、平台凝聚力（platform cohesiveness）以及开源技术所缺乏的集成。

趋势九：区块链

区块链与分布式分类帐（distributed ledger）技术的核心价值主张是在非置信的参与者网络中提供去中心化信任。对分析使用案例带来的潜在结果非常大，尤其是对于利用参与者关系及交互的那些使用案例所带来的影响。

然而，尚需几年时间才会有四或五项主要区块链技术占据主导地位。在此之前，技术终端用户将被迫与由其主导客户或网络所指定的区块链技术及标准相集成。这包括与您现有的数据及分析基础架构进行集成。集成成本可能会超过任何潜在收益。区块链是数据源，而非数据库，不会取代现有的数据管理技术。

趋势十：持久内存服务器

在采用内存中计算（IMC）所支持的架构方面，新型持久内存（persistent memory）技术将有助于降低成本与复杂度。持久内存代表着DRAM与NAND闪存之间的新内存层，可为高性能工作负载提供经济高效的大容量内存。它将有望改进应用性能、可用性、启动时间、集群方法与安全实践，同时保持成本可控；通过减少数据复制需求，还将有助于企业机构降低其应用与数据架构的复杂度。

Feinberg先生表示：“数据量正在快速增多，实时将数据转化成价值的紧迫性也在同样快速增加。新的服务器工作负载不仅需要更快的CPU性能，而且还需要大容量内存及更快的存储。”