0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

浪潮存储:新数据时代整体面临的三大挑战

铭瑄存储合作伙伴 来源:DOIT传媒 作者:DOIT传媒 2021-08-23 14:23 次阅读

2021全球闪存峰会期间,浪潮存储产品线孙磊发表了题为《巨“浪潮”起——全闪存储系统 加速数字转型》的主题演讲,分享过去一年浪潮在全闪存方面的进步和发展。

从去年开始,浪潮一直在谈新数据时代,在谈新数据时代整体面临的三大挑战。

新时代的三大挑战

挑战1

数据成为生产要素

新数据时代,数据应用已经渗透到了经济社会各个领域,数据已成为核心生产要素,成为与劳动力、资本、土地和技术并驾的生产要素。作为生产要素,数据具有乘数作用,它可以放大劳动力、资本等生产要素在社会各行业价值链流转中产生的价值。

发挥好数据生产要素的创新引擎作用,可以催生和推动新产业、新业态、新模式,有助于推动质量变革、效率变革、动力变革,实现高质量发展。

比如,利用数据来做疫情防控。疫情早期,需要辅以CT来确认感染者,这导致CT量暴涨10倍,为一线医生带来了巨大工作量和非常高的诊断难度。

很快,数据专家基于大量的CT影像数据,训练出了阅片机器人,用机器人帮助医生进行诊断,从而大大节省了医生看片子的时间,同时提高了诊断的准确性。

挑战2

大规模应用

既然数据如此重要,就应该考虑解决数据保存、使用和管理的问题,解决存储的容量和效率问题。数据的数量级变化带来了巨大挑战。比如:

百度在北京有1万辆自动驾驶汽车,每天300PB数据,如果未来自动驾驶投入商业应用,一个城市几十万上百万辆车将产生ZB(100万个PB)级数据。

在数据容量和性能上,新兴应用场景产生了几十上百倍的提升,需要存储具备高容量、大并发、高带宽、更高性能和更低时延,这需要采用新技术来应对挑战。

挑战3

新数据需求

当前和未来很长一段时间,我们将采用多种技术来构建终端-边缘-两地三中心-混合云/公有云基础设施,这些技术的进步都非常快。

新技术背后还需要用新的存储,提供更高水平的数据流动、数据处理、数据共享、实时在线、永久安全等能力,实现信息高效计算和交互,在这一领域,软件定义存储有着天然优势。

浪潮存储坚持双轮驱动策略,紧跟技术趋势和应用需求,浪潮在存储的技术上也在做一些变革和突破,从而来让产品能够具备应对变化的能力。

上述提到的阅片机器人、自动驾驶的本质上是通过大量的机器学习所训练出来的一套带有自我预测能力的算法,而在当今社会,效率就是生命,各领域除了算法的优化,算力的存储方面唯有全闪介质才能提供更高的效率;

如何利用全闪介质发挥出更高的性能,浪潮全闪存储为您解答。

以新存储应对三大挑战

从2020年8月起,浪潮提出了新存储之道,所谓新存储之道,其核心就是通过极致的技术创新和产品创新来应对挑战。

浪潮用包括极简架构、极致安全、极致稳定、极致性能、极致容量、极致云化和极易管理,七大极致的技术路线来设计开发创新的HF系列全闪存储。

HF系列全闪存储目前在三个方面做出了比较大的创新:

1.架构层面。国内外存储厂商往往有多个软件栈,比如混闪和全闪的软件栈就不同,而浪潮同一套架构支持NVMe、SAS,一套架构支持所有的存储应用,这就是极简架构。

2.软件栈的重构,具体表现在以下几个方面。

2.1 当闪存介质达到一定数量时,CPU将成为性能瓶颈,浪潮通过多核多线程性能优化,充分发挥CPU的作用,从而进一步拔高全闪阵列的极限性能。

2.2 浪潮通过实时压缩重删进一步提高了数据的存储效率,保护用户投资,降低了TCO。

浪潮全闪阵列支持实时无损在线重删压缩

1、压缩数据8byte对齐,拿8K字节数据举例,压缩空间利用率99.8%;

2、内置独立加速芯片,对性能时延无影响;

3、当写入数据时,弱哈希+字节对比,确保重删效率数据一致性;

4、基于前压缩方式,数据在缓存中压缩(专用缓存。和压缩芯片),数据存入到磁盘是压缩后的数据量,固定条带,充分利用空间。数据库类应用压缩比例21,日志型应用最大压缩比例可达10:1;

2.3 持续的快速迭代。2020年,浪潮发布过iTurbo 1.0,2021年,iTurbo升级到2.0,iTurbo 2.0重点优化了三个方面。

第一个重点在于在I/O路径的优化上。iTurbo 2.0用智能数据路径打包整个I/O栈,使得I/O栈大大缩短,延迟得以明显降低。

第二个重点在于智能多核。如今的存储系统普遍没能发挥处理器的核数和主频性能优势,而iTurbo 2.0优化了对多核的利用,实现了对多核的智能调度,当发现有应用对性能有更高要求时,可以为应用绑定对应的CPU资源,能定向提升性能。

第三是重点是冷热分流。思路是,首先分离有效和无效数据,然后尽量把垃圾数据和无效数据聚合到同一个bolck里,减少数据刷新的波及范围,这样一来,不仅垃圾回收效率得以提高,而且,整体性能提升了1.5倍,时延降低了50%。

3.支持使用傲腾SSD,为了使用新型存储介质,浪潮和友商做了联合的定制开发,使用傲腾后,在数据分层的场景的IOPS提升了70%,带宽提高了100%,延时也降低了50%。

为了使用NVMe全闪协议,浪潮对整体软件栈,从底层硬件驱动层到上层协议全都进行了重构,实现了端到端的NVMe的协议,使得存储系统在读写性能和时延上都得到了大幅提升。

取得的成绩在SPC-1测试中已经得到体现

浪潮全闪存储HF18000G5-I,在即将发布的SPC-1榜单中将会有非常亮眼的成绩,再次打破世界记录,达到2300万IOPS,且延时在0.29ms内。

浪潮存储的优异市场表现

在市场表现中,浪潮是国内唯二进入Gartner魔力象限的主存储厂商,经过过去一段时间的发展,浪潮存储从利基象限跨越提升到了挑战者象限。

从用户满意度调查报告Gartner Peer Insight 的数据来看,浪潮存储在满意度调查报告中评分也非常高,达到了5分的满意度,可见整体的客户对于浪潮存储有高度认可。

受疫情影响,各个存储细分市场也受到了不同程度的影响,2020年第一季度,中国外部存储市场同比下降7.8%,出货量同比下降18.4%,全闪和混闪存储销售额分别同比增长16.1%和11.1%。

在这样的大背景下,浪潮在整体的集中式存储领域完成了大幅增长,出货量增长了50%,全闪的增速也达到了将近500%。

浪潮闪存存储的行业落地案例

某金融行业用户采用了浪潮的全闪方案。替换之后,在性能方面,整体系统性能提升了2倍。与此同时,浪潮对该客户所有存储产品进行了异构整合,整合完成后,客户运维成本和整体TCO有明显降低,设备利用率也有了明显提升。

某政府用户采用了浪潮整体解决方案,采用了包括关键应用主机系统浪潮天梭K1、Power主机、浪潮服务器以及浪潮存储等方案,该用户对于高端存储特别是高端全闪的可靠性有极致要求,配合K1主机以及OpenPower做了一个联合解决方案,在核心系统里构建了6个9的可靠性。

基于出色的产品能力,浪潮全闪存储赢得了越来越多的认可,正广泛应用于各行业、各场景,在各行各业里都有非常多的顶级客户。

比如,金融领域的六大行都有部署,而且,在许多银行有非常大规模的部署,在某大银行的核心系统里面,占比超20%。

某农信ODS业务使用了多台浪潮AS5600G2,为前端8台POWER小型机组成的Oracle RAC提供存储服务。为联社统一数据平台服务提供有力支撑。

在某大型国有银行数据中心建设中,浪潮存储全面对接OpenStack、兼容多家云平台,在各种业务系统尤其是网络交易相关的业务中,得到了用户青睐,浪潮存储助力其将所有业务放到云上,成为最快实现云化三数据中心(3DC)的国有大型银行。

在PB级客户方面,浪潮存储的客户数量同比增长150%,重复购买、扩容超过40%。

孙磊还表示,采用全闪的集中式存储未来面向就是核心应用。

浪潮认为,未来在核心应用和核心产品中,闪存将占主导地位。而浪潮还将继续坚持创新,以全闪存储系统加速数字转型。

编辑:jq

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 机器人
    +关注

    关注

    211

    文章

    28418

    浏览量

    207101
  • 数据
    +关注

    关注

    8

    文章

    7030

    浏览量

    89036
  • CT
    CT
    +关注

    关注

    2

    文章

    189

    浏览量

    32065
  • 自动驾驶
    +关注

    关注

    784

    文章

    13812

    浏览量

    166461

原文标题:浪潮存储:以全闪存储加速数字转型

文章出处:【微信号:Maxsun,微信公众号:铭瑄存储合作伙伴】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    探讨大模型时代背景下数据存储的变革之道

    在当今数字化浪潮汹涌澎湃的时代背景下,大模型技术犹如一颗璀璨的明星,照亮了科技发展的广阔苍穹,而存储技术的变革,作为这一进程中的坚实基石,正日益成为产业界与学术界共同瞩目的核心焦点。
    的头像 发表于 12-16 14:05 183次阅读

    浪潮信息如何应对智能时代下的数据存储需求

    随着智能时代的全面到来,数据量呈现出爆炸性增长,这对存储系统提出了前所未有的高标准要求。从早期的“百模大战”演进至“千模大战”,现已迈入了一个以数据为核心的新
    的头像 发表于 11-26 13:42 211次阅读

    半导体存储器在数据中心中的应用

    半导体存储器在数据中心中的应用是极其重要且广泛的,它们不仅是数据中心存储系统的核心组件,还直接关系到数据处理的效率、可靠性和安全性。以下将详细阐述半导体
    的头像 发表于 08-20 10:17 631次阅读

    浪潮信息赵帅:开放计算创新 应对Scaling Law挑战

    Scaling Law带来的AI基础设施Scale up和Scale out的挑战数据中心需要以开放创新加速算力系统、管理和基础设施的全向Scale进程,推动AI产业的创新发展。   开源开放推动人工智能创新与算力生态的全面发展 生成式人工智能的飞跃式进步正在加速智能
    的头像 发表于 08-15 16:02 286次阅读
    <b class='flag-5'>浪潮</b>信息赵帅:开放计算创新 应对Scaling Law<b class='flag-5'>挑战</b>

    探讨数字化背景下PMC的挑战和机遇

    在数字化浪潮的席卷下,各行各业都面临着前所未有的变革。对于负责产品物料控制(PMC)的企业来说,这一变革既是挑战也是机遇。如何在数字化背景下,抓住时代的脉搏,推动PMC管理的创新与升级
    的头像 发表于 07-05 11:03 464次阅读

    浪潮信息引领数据编排新纪元,加速释放数据潜能

    在2024年数据基础设施技术峰会的璀璨舞台上,浪潮信息分布式存储产品线架构师Lance Sun博士以其深厚的行业洞察与前瞻视角,发表了题为“高效数据编排,加速释放
    的头像 发表于 07-03 15:30 384次阅读

    浪潮信息推出AIGC存储解决方案

    信息隆重推出了基于其新一代分布式存储平台AS13000G7的AIGC存储解决方案,这一创新成果无疑为当前大模型应用面临存储挑战提供了强有力
    的头像 发表于 07-03 11:16 722次阅读

    浪潮信息推出基于新一代分布式存储平台AS13000G7的AIGC存储解决方案

    、新一代分布式存储AS13000G7自身产品优势,新方案从容应对大模型应用对存储性能、容量以及数据管理等方面的苛刻要求。同时,浪潮信息尝试性提出GPU计算集群算力与
    的头像 发表于 07-01 19:00 1434次阅读
    <b class='flag-5'>浪潮</b>信息推出基于新一代分布式<b class='flag-5'>存储</b>平台AS13000G7的AIGC<b class='flag-5'>存储</b>解决方案

    CCF-TCIST走进浪潮信息 共话AI时代存储创新

    ”活动启动,来自CCF信息存储技术专委会、清华大学、北京大学、华中科技大学、华东师范大学、上海交通大学、上海理工大学等单位的十余位存储领域专家、学者走进浪潮信息,在“大模型时代数据中心存储
    的头像 发表于 06-07 14:27 287次阅读
    CCF-TCIST走进<b class='flag-5'>浪潮</b>信息 共话AI<b class='flag-5'>时代</b><b class='flag-5'>存储</b>创新

    浪潮信息存储平台的&quot;南征北战&quot;:释放数据价值的核心力量

    刘希猛以"数聚向新 共赢未来"为主题,结合当前对数据价值释放的迫切需求,对构建相适应的先进存储基础设施进行了全面而详尽的分析。  "关键在于存储基础设施的平台化。" 刘希猛说。 开启"南征北战"新
    的头像 发表于 06-04 16:41 247次阅读

    浪潮信息发布AS13000G7-N系列分布式全闪存储

    浪潮信息近日推出了专为大型AI模型优化的AS13000G7-N系列分布式全闪存储。该系列基于浪潮信息自研的分布式文件系统,结合新一代数据加速引擎DataTurbo,为用户提供卓越的
    的头像 发表于 05-14 10:03 567次阅读

    为大模型专门优化 浪潮信息发布分布式全闪存储AS13000G7-N系列

    DataTurbo,通过盘控协同、GPU直访存储、全局一致性缓存等技术为AI大模型数据归集、训练、数据归档与管理等阶段提供强大存储支撑能力,助力用户加速大模型系统的创新及应用落地。  
    的头像 发表于 05-10 16:37 430次阅读
    为大模型专门优化 <b class='flag-5'>浪潮</b>信息发布分布式全闪<b class='flag-5'>存储</b>AS13000G7-N系列

    在机遇与挑战并存的AI时代星如何在DRAM领域开拓创新?

    在机遇与挑战并存的AI时代星如何在DRAM领域开拓创新?
    发表于 05-09 18:46 477次阅读
    在机遇与<b class='flag-5'>挑战</b>并存的AI<b class='flag-5'>时代</b>,<b class='flag-5'>三</b>星如何在DRAM领域开拓创新?

    AI时代,HBM掀起存储芯片新浪潮

    2022年末,ChatGPT的面世无疑成为了引领人工智能浪潮的标志性事件,宣告着新一轮科技革命的到来。
    的头像 发表于 03-27 09:40 856次阅读
    AI<b class='flag-5'>时代</b>,HBM掀起<b class='flag-5'>存储</b>芯片新<b class='flag-5'>浪潮</b>

    面临罢工,存储市场供需引关注

    星电子与与“星电子全国工会”代表之间的薪资谈判破裂,以及工会可能发起的罢工行动,确实引发了市场对存储供需市场的关注。作为全球存储龙头厂商,
    的头像 发表于 03-20 11:37 890次阅读