存储技术
为加强同业之间的交流,促进科技创新,加快新技术、新产品在金融行业的应用,广东省粤港澳合作促进会金融专业委员会在广东省人民政府港澳事务办公室、广东省地方金融监督管理局、澳门金融管理局的指导下,在广东银行同业公会、香港资讯科技联会、澳门电子金融产业贸易促进会、澳门《金融创新》杂志社的支持下,于5月9日-11日在广州科学城举办了“2019年数字金融创新william hill官网 ”。本次william hill官网 以“科技赋能金融 创新驱动发展”为主题,设人工智能与大数据·云计算、信息安全与智能运维、业务与技术融合和金融大数据实时智能反欺诈4个分william hill官网 以及惠州罗格朗(中国)生产基地参观调研等活动,为金融系统的朋友们提供了一次高规格学习、交流和思想震荡的机会。广东广播电视台南方卫视主持人陈星担任主持,全国政协常委宋海致开场辞,广东省人民政府港澳事务办公室巡视员叶维园讲话。包括政府、金融监管机构领导、全国各省区金融系统主管领导和信息科技、电子银行、互金、零售、个金和风险控制等部门负责人、港澳地区金融机构相关部门负责人以及部分IT企业代表共600多人出席了此次william hill官网 。
杉岩数据CTO邱尚高受邀主william hill官网 做了《海纳百川 赋能金融科技》的主题演讲,分享杉岩数据助力海量金融影像交易数据存储和管理创新的实践,并与广大金融科技信息化行业的同仁进行深度交流和互动。
以下为演讲内容速记整理:
根据国际著名咨询机构IDC的市场预测报告,到2024年,整个金融行业非结构化数据增长将达到44ZB。 金融行业的增长,我们看到的是一些大中型银行和保险统计数据是每年数据增长有40-50%,有些互联网和智能化创新型走的比较靠前的金融客户,增长还要更快。在一次和四大行的交流中,我们得知每年的非结构化增长达到10PB,比如互联网金融场景中基本采用非现场模式办理业务,生物特征识别技术产生了大量的人脸图片、活体监测视频,文件的数量和大小都大大增加,变得越来越非现场化。第三块就是AI,特别是生物特征识别数据大量增加,也触发了金融行业海量非结构化数据管理分析的需求。另外还有一点就是5G的到来,我们和一些金融机构交流,5G到来之后金融机构科技手段更加丰富,数据量会有很大增长。
传统业务升级,VTM视频和生物特征数据等增加,在金融的IT架构上发生了很大变革,一方面传统业务核心,另外一方面是互联网业务的核心。这张图表现的是传统模式机房,对于存储发生需求的变化,一方面是互联网高频发访问,第二是存储的数据量增长,根据我们对金融机构的了解,结构化数据每年的增长是10-20%,非结构化数据是40%到50%增长,这是对于互联网核心这一块。在两个核心的基础上,数据存储采用多种方式,传统业务核心采用ECM系统,互联网核心这一块更多用一些分布技术,如何进行数据统一管理?很多金融机构非结构化数据可挖掘的价值越来越多,内容管理是一个问题。保险机构的互联网核心现在放到公有云上,短期、小额高频占比业务、高并发促销险种放在公有云,快速完成业务再回收到核心。怎样实现这混合云架构的数据统一管理?
从存储技术的发展来看,非结构化技术发展经历了几个过程,最开始是传统NAS设备,后面是银行保险的ECM系统,类似Filenet之类产品,把原来NAS扩展的问题解决了,多台NAS组合起来成为一个统一内容管理平台,还能实现检索和处理功能。接下来从2014-2015年起,分布式对象存储开始出现,近两年开始进入到金融领域。
我们来看看对象存储这个概念。对象存储在企业IT基础架构中之前可能接触比较少,但其实在我们生活场景接触的比较多,我看到大家都在拍照,然后把图片存起来,放到云上,就是存在对象存储上,微信,交友,直播短视频如抖音,都是存在公有云的对象存储上面。右边是IDC的报告,报告认为未来2017年后非结构化存储是一个高速的增长,但是这个高速增长的数据大部分存储在对象存储。
那对象存储的优势在哪里呢?简单总结有四点优势:首先分布式对象存储脱胎于互联网,天生具备互联网基因和分布式架构,具有大规模可扩展性;第二,对象存储和公有云是同一个协议,同样的实现方式,有利于实现混合云的架构;对象存储具备ECM的功能,可扩展、具有元数据检索和内容文件处理的能力,更好的实现非结构化数据管理和利用;第三,具有更好的性能。一个是性能可扩展性,增加服务器就可以提升性能;另外使用新的协议S3,在互联网用了十几年,企业现在因为互联网的原因,也接触的比较多;其次,基于通用X86服务器,只要不断更换CPU、内存、硬盘,就可以把性能变得更好。这个系统十年后,数据还是那个数据,系统还是那个系统,但是性能更好。然后就是维护成本更低,去中心化的架构维护的压力小很多。另一个是统一管理,不需要管理不同型号NAS/SAN设备。最后就是无需迁移,维护20年的NAS数据不需要搬来搬去,现在只要不停的在平台更换硬件配件就可以。
讲了这么多对象存储的好处,回到杉岩,首先,杉岩的团队是来自于华为最早的分布式对象存储团队,09年和10年就开始做企业级分布式对象存储;杉岩是最早推出国内企业级对象存储的厂商之一。此外我们是IDC报告连续两年排名前三的对象存储厂商。
接下来我讲一下杉岩对象存储的五大优势和两大金融行业解决方案。
首先因为对象存储是基于通用服务器,可以看到有2U服务器、4U服务器、低配服务器、高配服务器,数据可以在NAS、低配服务器、高配服务器、公有云甚至光存储上,实现数据整体的流动,无论数据存在哪种硬件上,都是一个统一的存储,根据访问频度、热度进行自动的调度,保证业务的高性能的同时降低长期存储非结构化数据的成本,利旧现有NAS设备。
第二大优势是内容智能处理和多维度检索。对金融行业企业来讲,这些非结构化数据价值很多,比如监管部门调档需求,身份证的检索,文档公文检索等,我们可以把业务数据统一存储到平台之后,打上业务标签,同时内部对数据进行识别自动打标签,从而我们可以多维度检索,可以做AI训练、质检训练,而不用考虑这些数据从哪个系统来。
第三大优势是纳管,NAS的纳管和ECM的纳管,如Documentum、filenet,纳管以后统一服务,纳管后可以后台迁移,NAS或者原来影像数据做迁移的时候非常平滑,我们给一个客户做一个16亿文件迁移,业务中断时间小于2个小时,而原来从一个NAS到另一个NAS,做过基础架构运维的人都清楚,可能需要以月份为单位的时间。
第四个是架构优势:多中心+总分架构,满足集中作业架构需求。特别适合股份制银行、农信社架构的影像集中作业;柜台影像文件存储到分行的影像中心,各个分行的影像平台数据以及直销银行/手机银行/网银等电子凭证数据汇总在一起,集中存储到总行影像平台集中处理。杉岩能提供的是在总部做多中心,在分行做影像小规模的集成,自动准实时同步到总行,数据快速集中,可以解决分中心数据安全的问题,以及数据集中作业的需求。
第五大优势是双核心,特别是互联网核心放在公有云的场景。我们需要公有云的数据在爆发性业务处理完之后,回到传统核心上来。我们提供两个方面的能力,一方面把公有云和本地数据数据打通,自动收集到我们总部自己的数据中心,机房内部数据需要归档备份的可以归档到公有云并打通实现数据的统一管理,可以在自己的机房检索或者管理公有云数据。
这是我们杉岩的五大优势,接下来我们看下杉岩两大金融行业解决方案。一个是针对银行保险证券的非结构化大数据平台,可以承载传统业务或者互联网业务,数据统一起来可以帮助客户进行档案中心管理以及AI训练和大数据分析。在存储平台上,可以对数据进行存储、保护、数据发现和AI处理,在底层可以管理各种设备,NAS、2U服务器、4U服务器、公有云、光存储,光存储可能金融机构用的不太多,但一些大行也会用一些蓝光存储来做冷存储,实现一个非结构化数据内容管理。还有一个细分场景,就是银行保险行业中对ECM系统的替换,老的ECM系统需要淘汰更新,有的已经用了十几年,整个系统性能都非常差,我们提供完整的解决方案,搬迁到对象存储以及支持未来公有云的导入。
最后我们分享几个案例。一个是广发证券,这个是2017年初上线的案例,已经跑了2年多的时间,早期我们做非金融行业比较多,金融行业相对慢一点。2017年我们替换档案中心的NAS,2018年广发证券把很多关键业务中的数据,如客户生产环境中的投研平台、投行系统、非现场开户系统、一柜通柜台、容器和日志易中产生的数据从传统存储替换到对象存储来,实现了数据的导入和管理,以及AI数据训练,现在广发证券双录质检的平台就是基于我们存储的数据进行检索处理。另外一个就是人保财险广东分公司的案例,因为时间关系我就不细讲了,这个是一个影像平台替换的场景。最后这一页是我们的主要案例,最早我们在运营商和电力做的比较多,这两年在金融行业大力发展对象存储,而且大的趋势是尝试用分布式存储解决非结构化数据增长,更好的发展分布式存储,用分布式存储逐步改善我们整个的基础架构。
谢谢大家!
杉岩软件定义大数据存储产品已广泛应用于金融、政府、电力、电信、制造、教育、军工等10多个行业并在中国人保、广发证券、九州证券、中国银联商务、中国移动、中国电信、中国联通、国家电网、南方电网等200+客户中成功部署,存储总量达到了200PB+。杉岩金融影像海量对象存储方案通过提供存管挖三位一体解决方案,为金融影像数据的归集、存储和AI智能分析提供完整解决方案,为包括人脸识别、语音识别、自然语言处理、机器学习等人工智能技术在银行终端落地衍生的海量数据提供高扩展性的数据承载平台。未来杉岩数据将以自主可控分布式存储技术赋能更多金融客户,推动金融科技创新。
全部0条评论
快来发表一下你的评论吧 !