0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

实测 | 海纳百川,华为OceanStor Pacific分布式存储为多元算力应用带来更优选择

脑极体 来源:脑极体 作者:脑极体 2022-12-22 20:33 次阅读

被称为开眼看世界的林则徐,在自己的书房中写了这样一副对联,以做自勉:海纳百川,有容乃大,壁立千仞,无欲则刚。

包容的胸怀是我们做成很多事情的根基,也是一项产业战略、科技事业发展的关键。近几年,数据基础设施国产化,在科技自立的大背景下如火如荼。比如,以计算和存储为主要构成的HPC/AI数据基础设施事关国计民生,在以科技创新和基础科研为代表的关键领域均扮演着重要角色。但很多科技科研场景的HPC/AI数据基础设施当前都依托X86 CPU+GPU+Lustre存储+IB交换机这个大一统的抱团生态体系,且已成为业界公认的HPC/AI设施最佳性能组合之一。如何兼顾科技科研领域的效率成果与自立自强,为HPC/AI等多样性算力应用关键场景,提供最适合业务的数据底座,成为一个关键问题。

这种情况下,“海纳百川,有容乃大”的意义就凸显了出来。不久之前,在深圳一所国家重点实验室,华为OceanStor Pacific分布式存储与早期依托X86 CPU+GPU+Lustre存储+IB交换机组网构建的某大科学装置AI集群进行了综合的POC测试。其结果显示,华为OceanStor Pacific分布式存储完美兼容匹配该大科学装置的AI集群生态环境,更重要的是通过实测,其多项指标性能和功能均优于现有系统。华为与该国家重点实验室联合操作的这项POC测试意义极其深远重大,远超于一款产品或解决方案发布:它代表了一种实事求是,兼容并蓄的发展策略;是一块国产先进存储面向全球的敲门砖,一艘中国科技与全球化间的破冰船;对于科学研究,乃至更多领域的数字化、智能化进程来说,这是十分幸运的。

数据之潮,时代之需:科研场景的存储挑战

X86+GPU主导的大一统生态技术体系经过了数十年发展和构建,其大树根基在全球和中国已经十分深远。大量国际国内的数字化工具和软件应用,数字化成果都捆绑X86+GPU。这在某种程度上来说是种无奈,但也是客观存在不可回避的现实。

尤其在科研领域,HPC/AI正在全球各个学科的研究中扮演重要角色,X86+GPU算力平台可以更方便教授学者与科研从业人员接触全球最新学术动态和验证科研成果。这种强惯性的作用下,短时间内强行脱离X86生态是不现实的。因此,早期甚至当前新建的很多HPC/AI基础设施,选择建立在X86+GPU体系上。

随着HPDA的整体发展,从业务负载上而言需要考虑HPC/AI、大数据以及AI的混合叠加,需要支持应用驱动的科学计算工作流,进而推动负载以数据为中心,从计算科学发现转向数据科学发现转变。

科技科研的突破速度取决于数据基础设施的性能,特别是对数据存储性能带来极致挑战。第一个挑战是应用的数据量级从PB级正在加速走向EB级;第二个挑战是应用的负载从单一走向多样化,也就是常说的混合负载;最后一个挑战是应用类型的变化,从简单走向复杂。核心是数据与业务的耦合度在增加,数据计算需要参与整个业务流程的多个环节,且环环相扣,缺一不可。

在当前推进科技科研自立自强的大时代背景下,面对这些数据中心存储挑战和需求,以及面对X86+GPU体系暂不可完全替代,国内业界都希望看到先进的国产存储兼容X86+GPU环境的下的HPC/AI应用,也可以提供媲美Lustre存储的性能和功能。

更佳性能,更优选择:华为分布式存储的价值呈现

不久之前,华为OceanStor Pacific分布式存储与在深圳某国家重点实验室依托X86 CPU+GPU+Lustre存储+IB交换机组网构建的大科学装置AI集群进行了POC测试。从测试结果上看,整体兼容效果良好,没有出现任何兼容问题,并且使用了华为OceanStor Pacific分布式存储之后,存储在功能、性能上优于现有系统,融入计算集群的效果也更加良好。

这次测试对接的成功,表明华为在技术创新、产品兼容上的进取姿态,也表明其为科研创新,乃至更广阔计算、存储领域做出贡献的决心。科研教育与国家实验性,在一个国家的计算基础设施中具有代表性意义。与该大科学装置AI集群的成功对接,可以看作华为OceanStor Pacific分布式存储敲开了国产存储为HPC/AI提供更优选择的大门。HPC/AI应用场景下,Lustre不再独领风骚。

一般来说,多元算力包括x86、ARM、AI、GPU计算等多种计算生态,存储需要根据不同的计算场景与计算设施,为用户提供最佳体验。华为分布式存储的价值与优势,释放到HPC/AI场景,可以有效满足科研等场景中的存储需求。

具体而言,华为OceanStor Pacific分布式存储通过这样几个角度,破除HPC/AI场景的存储困局。

首先解决海量数据高性价比存储的问题:我们知道随着HPC/AI业务量的不断增长,往往最先遇到的是机房空间不足和存储成本高昂的问题。为此,华为推出了 华为OceanStor Pacific分布式存储高密专用硬件,基于全新的高密架构设计,并提供更高的容量利用率,在有限的机房空间里存下更多数据,更好地满足海量数据增长的需要。叠加华为OceanStor Pacific分布式存储的智能分级存储技术,对域内热、温、冷数据进行统一管理,数据能够在热、温、冷层系统间自动迁移,无需管理员手动干预,灵活有效地管理数据全生命周期,同时有效解决海量数据的运维管理难题。

其次,提供面向混合负载的高性能:HPC/AI应用计算所涉及的数据越来越多、类型越来越丰富、任务并发性也越来越高,因此需要性能更加均衡的存储。华为OceanStor Pacific分布式存储采用OceanFS新一代并行文件系统,结合独特的大小I/O自适应数据流技术,一套存储即可同时满足极致带宽、极致IOPS和极致时延的混合负载要求。通过与分布式并行客户端(DPC)的密切配合,打破单流和单客户端的性能瓶颈,帮助企业有效应对混合工作负载的挑战。

最后,多个不同业务环节数据的高效安全流动:由于数据量的增大、数据应用的复杂化,数据在不同环节、不同系统间高效流动是HPC/AI业务面临的一个主要挑战。华为OceanStor Pacific分布式存储拥有业界领先的多协议互通能力。多个存储服务同时访问一份数据,支持 NFS、CIFS、HDFS 和 S3 等协议的按需部署,通过其中一种协议写入的数据,无需迁移即可被其他协议读取,提高跨环节、跨系统的数据分析效率。

此次面向多元算力,释放多元算力价值的全面启航,展现了华为的包容与兼顾,也展现了华为OceanStor Pacific分布式存储乃至华为存储,迈向科研+HPC/AI场景的发展方向。

面向未来,有容乃大:数据基础设施再启航

在成功完成兼容测试后,华为在市场与受众的层面获得了更广泛的认可。但华为OceanStor Pacific分布式存储与深圳知名的国家重点实验室大科学装置X86 AI集群进行的POC测试,更广泛的价值在于面向科研领域、ICT领域,展现了一种关于有容乃大的智慧。

这次测试成功,对于多方面来说都有其意义。

对于科研机构来说,X86环境的HPC/AI可以很快获得更好的存储支持,即使不在短期进行国产化计算替换,也可以实现数据可控、可信的数字化战略,从而获得更稳健、开放的科研环境。

对于HPC/AI相关项目与数据中心来说,华为OceanStor Pacific分布式存储兼容多元算力意味着更多选择,更广阔的解决方案构建空间,确保计算基础设施真正实现多样性。对于计算国产化趋势来说,我们不搞封闭和孤立,而是在开放、包容的态势中走向科技自立自强。

华为分布式存储支持多元化算力,意味着是一个真正开放兼容、自主创新的高可靠存储数据底座正在建立,具备传统超算、大数据分析及AI分析能力,应用驱动统一数据源支持全流程科学计算服务,在为科研及商业提供多样性算力同时,能够基于数据知识累积,提供高阶数据价值服务。华为OceanStor Pacific分布式存储的兼容性提升,既是一次新的启航,也是一个明确的指向:它向世界展示了中国ICT产业海纳百川的胸怀,包容万物的决心。

审核编辑 黄昊宇

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 存储
    +关注

    关注

    13

    文章

    4318

    浏览量

    85886
  • 分布式
    +关注

    关注

    1

    文章

    902

    浏览量

    74536
收藏 人收藏

    评论

    相关推荐

    华为蝉联Coldago Research 2024存储报告领导者象限

    报告中,华为凭借其OceanStor Dorado全闪存和OceanStor Pacific分布式存储
    的头像 发表于 01-02 13:43 109次阅读

    百川智能发布Baichuan4-Finance金融大模型

    百川智能通过行业首创的领域自约束训练方案精心打造而成的。该方案不仅注重提升模型的金融能力,还兼顾了通用能力的提升,实现了两者之间的同步增强。这一特点使得Baichuan4-Finance在金融场景中展现出了卓越的整体可用性,用户提供了更加精准、高效的金融服务。 据悉,
    的头像 发表于 12-25 10:11 180次阅读

    分布式光伏企业带来哪些便捷!

    光伏开发试点方案的通知》中指出:“加快推进屋顶分布式光伏发展,拟在全国组织开展整县(市、区)推进屋顶分布式光伏开发试点工作”  一,行业痛点: 1,监管困难:分布式光伏地域较为辽阔,
    的头像 发表于 11-18 15:34 242次阅读
    <b class='flag-5'>分布式</b>光伏<b class='flag-5'>为</b>企业<b class='flag-5'>带来</b>哪些便捷!

    百川智能发布一站大模型商业化解决方案

    近日,百川智能正式推出了一站大模型商业化解决方案,旨在为企业提供更加全面、高效的大模型应用服务。该解决方案以1+3产品矩阵核心,包括全链路优质通用训练数据、Baichuan4-Turbo和Baichuan4-Air两款模型,
    的头像 发表于 11-01 18:01 836次阅读

    分布式存储费用高吗?大概需要多少钱

    分布式存储的费用是否高,取决于多个因素,包括存储容量、性能要求、服务提供商、计费模式等。因此,无法简单地给出一个“高”或“不高”的答案。通常分布式
    的头像 发表于 09-24 10:41 269次阅读

    大模型厂商“输血”不断,百川智能完成50亿元A轮融资!

    有重磅消息曝出:知名大模型公司百川智能已经成功收获了价值50亿元的A轮融资。由此,我们不禁感叹,大模型厂商们的“输血”和“续命”之战,还在激烈的上演着。
    的头像 发表于 07-31 14:47 634次阅读
    大模型厂商“输血”不断,<b class='flag-5'>百川</b>智能完成50亿元A轮融资!

    百川智能完成50亿元A轮融资

    近日,国内领先的医疗AI大模型企业——百川智能,正式宣布完成了高达50亿元人民币的A轮融资,这一里程碑的融资不仅彰显了市场对其技术实力与未来发展潜力的高度认可,也公司的后续发展奠定了坚实的资金基础。
    的头像 发表于 07-26 16:42 474次阅读

    亚马逊云科技接入百川智能和零一万物基础模型

    近日,亚马逊云科技在中国峰会上宣布,两大中文基础模型——百川智能的Baichuan2-7B和零一万物的Yi-1.5 6B/9B/34B,即将或已正式登陆中国区域的SageMaker JumpStart。这一举措中国企业提供了丰富的模型
    的头像 发表于 06-04 11:53 580次阅读

    华为分布式存储连续三年荣膺2024年Gartner“客户之选”

    近日,全球权威咨询与分析机构Gartner发布《2024年Gartner Peer InsightsTM 分布式文件系统与对象存储“客户之声”》报告,华为凭借其OceanStor
    的头像 发表于 05-24 10:12 722次阅读

    百川智能发布Baichuan 4大模型及首款AI助手“小应”

    百川智能近日发布了其新一代基座大模型Baichuan 4,并同步推出了首款AI助手“小应”。这款AI助手是在Baichuan 4强大能力的基础上,结合先进的搜索技术精心打造而成。
    的头像 发表于 05-23 14:15 625次阅读

    有方数据存储产品服务新疆移动智中心,推动数字生产全面跃升

    近日,有方数据新疆移动智中心项目建设提供了NeoVast 2300分布式海量存储系统、NeoHyper 2500分布式全闪存
    的头像 发表于 04-28 14:10 569次阅读

    百川智能与北京大学将共建通用人工智能联合实验室

    近日,百川智能与北京大学携手合作,共同签署了“北大——百川通用人工智能联合实验室”的共建协议,标志着双方在人工智能领域迈出了坚实的合作步伐。
    的头像 发表于 03-21 11:45 911次阅读

    曙光存储推出ParaStor分布式全闪存储

    曙光存储推出ParaStor分布式全闪存储,携业内首创技术XDS,以训练加速、稳定性强、性价比高的独特价值,全维度涵盖网络、计算和平台,千行
    发表于 03-01 11:30 614次阅读

    百川智能发布超千亿大模型Baichuan 3

    百川智能近日发布了超千亿参数的大语言模型Baichuan 3,引发了业界的广泛关注。这款模型在多个权威通用能力评测中表现卓越,展现了其强大的语义理解和生成能力。
    的头像 发表于 01-31 14:58 857次阅读

    搜索出生的百川智能大模型RAG爬坑之路总结

    今天对百川的RAG方法进行解读,百川智能具有深厚的搜索背景,来看看他们是怎么爬RAG的坑的吧~
    的头像 发表于 01-05 15:02 1501次阅读
    搜索出生的<b class='flag-5'>百川</b>智能大模型RAG爬坑之路总结