0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

分析大数据背后的处理技术的演进方式

贸泽电子 来源:djl 作者: Murray Slovick 2019-08-29 10:43 次阅读

以光速传输

比特和字节信息在光纤线路传输时以光脉冲方式沿着电缆移动。在数据中心,该数据进入连接到内部路由器的机架,路由器又将信息指向服务器。根据电缆模式不同(单模或多模光纤(MMF)),IEEE802.3ba标准允许多个10-Gbit / s信道以并行或通过波分复用(WDM)方式运行。多个10-Gbit / s信道通过堆叠可以取得4倍(40Gbps)或10倍(100 Gbps )的更快速度。大多数情况下,使用MMF电缆来提供40 到100Gbps连接 所需的额外纤维束。

工程师们可以在贸泽网站找到光纤收发器、发射器、接收器等器件,供应商则包括Avago, Emerson Connectivity, Omron, Sharp, Toshiba和 TT Electronics.等。

因直径较大,MMF电缆允许多个波长的光信号沿其管线传输。单模光纤(SMF)仅设计为携带光信号直接沿着光纤孔径传播,而且比MMF电缆窄很多。 相对于多模光纤,SMF在保持每个光脉冲的保真度方面表现更好,传输距离也更远,因为不会发生模间色散,因此数据传输放慢的机会也会少许多。

图2:一个典型的单模光纤的结构:1.纤心直径8微米; 2.包层直径125微米; 3.缓冲区直径250微米; 4.倒包层直径400微米。 (图片来源:维基百科)

WDM将多个波长分离到多个独立光纤以进行单模传输。在这种方式下,单个电缆可以通过使用激光的不同波长(即颜色)来传输不同信息段,数据传输的总量也得以提升。电缆的两端分别放置复用器和去复用器,以组合或者分离混合光信号。

一些供应商,比如菲尼克斯电气为工程师提供以太网媒体转换器模组,支持多标准下的全双工传输,包括10/ 100BASE-TX(绝大多数目前已面市以太网硬件支持的快速以太网标准)到带有WDM技术的单玻璃纤维。例如,编号为2902659的制造商部件提供全双工通信,而且只使用一条光纤,传输距离长达38公里。

传输距离

数据中心的空间规模还在不断扩大,可能占据数百万平方英尺,需要更长的物理连接距离。典型集群的数据中心地板上可能竖立着多个机架,几公里长的光纤电缆如同高速路系统般将这些机架互连起来。采用100Gbp s以太网连接的主要障碍不仅是成本问题,也是因为缺乏开关密度。现代数据中心交换机之间的距离往往大于100米;在许多情况下,可能达到500米,甚至部分情况下,可达1公里甚至更远。。

这为供应商带来了巨大商机,他们势图开发出高速、低功耗,可以横跨数据中心很长一段距离的光纤链路,同时数据操作速率可以高达100Gbps。最近涌现数个协会以满足数据中心运营商的需求,提供一种经济、低功耗的100GbE光纤接口,希望传输距离超过100米,这种标准也已经纳入IEEE 100GBASE-SR4规范,针对100米范围的传输,而100GBASE-LR4规范则聚焦长达10公里的链接。

英特尔和Arista (连同易趣,Altera公司,戴尔,惠普等)在今年早些时候成立了一个开放的产业协会和规范,旨在解决将数据中心的传输距离提升到2千米远,通过4信道25Gbps的光通道组成的双工、多模光纤来达到100Gbps的传输速率。CLR4 100G联盟正在设计一种经济、低功耗的四通道小型可插拔(简称QFSP或QFSP+)收发器接口。目前的光学标准支持10个10 Gbps通道的组合,但是这种做法会导致光缆更厚也更贵。CLR4 100G联盟表示,其标准可以将光纤芯数降低75%。

贸泽提供QFSP收发器,产品来自安华高科技、Finisar公司,3M和TE连接。紧凑QFSP+封装可实现低功耗以及高密度。例如,Finisar的FTL410QD2C QSFP +收发模块设计用于40Gbps的链路,通过四路10Gbps进行并行多模光纤传输。

图3:Finisar的FTL410QD2C QSFP+收发器模块。 (来源:Finisar公司)

CWDM4 MSA(粗粒度波分复用4X25G多源协议)是另一家试图将100GbE传输范围延展至500米至2公里的行业组织。CWDM4 MSA的四名成员(安华高科技,Finisar公司,JDSU,Oclaro公司)说,他们将提供通过4X25G方式的双工单模光纤(SMF)来提供2公里范围内的100G互通式接口。

六大技术供应商也创建了并行单模4信道(PSM4)MSA集团,在数据中心采用四条光纤来并行地达到100 Gbps传输率。据这些公司(安华高科技,博科,JDSU,Luxtera公司,Oclaro公司和泛达)所述,市场需要PSM4光收发器,它可以填补500米传输范围内的低价100Gbps的连接需求。

展望未来

服务器、网络和互联网流量的快速增长正推动着越来越高的数据速率、更高的密度以及更低成本光纤需求的以太网解决方案。为了支持不断演化的体系结构,IEEE正在制定新的物理层要求。这些项目旨在合理补充和适当的修改IEEE802.3标准,以增加100Gbps的物理层(PHY)规范和管理参数,采用四信道电气接口,在多模和单模纤光缆上进行操作,并为40〜100-Gbps的光纤光缆操作指定可选的节能以太网标准(EEE)。此外,为达到超过10公里范围的单模光缆操作,将会加入40Gbps的物理层(PHY)规范和管理参数。P802.3bm标准预计将于2015年第一季度起草完成。

目前正在开发针对下一代以太网速率的400Gbps标准。预期会在2016年之后进入市场,IEEE802.3 400 GE研究小组,成立于2013年3月,正在建立使用OM3或OM4光纤及每信道25Gbps组成的400GE初始目标,类似于拟议的P802.3bm标准。400GE新标准预计于2017年完成。

数据数量正在以前所未有的速度生成着。市场研究公司IDC预测,数据流量每18个月将翻一番。Twitter每天推200多万条信息; Facebook每天收集超过15 TB数据。并且物联网——来自于传感器、设备、RFID等机器生成数据——将很容易超出这些数字。但这不光牵涉到规模,还事关速度。随着越来越多的实体加入社交媒体和接入因特网,实时或近实时响应变得至关重要。这些联网行为对网络服务和云计算的需求在提升,从而需要建立大规模的数据中心。但是,如果没有宽管道和高速度,应对大数据而出现的数据中心将被数据洪流淹没。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 互联网
    +关注

    关注

    54

    文章

    11153

    浏览量

    103288
  • 服务器
    +关注

    关注

    12

    文章

    9149

    浏览量

    85401
  • 大数据
    +关注

    关注

    64

    文章

    8886

    浏览量

    137434
收藏 人收藏

    评论

    相关推荐

    云计算、大数据处理技术交流

    云计算、大数据处理技术交流图形图像是数据处理量最大的版块之一,也是当今云计算的重要课题之一,图形图像处理大会给大家带来诸多名家方案,探究大数据
    发表于 09-16 14:18

    未来,是大数据的时代

    ,这在传统家电上是一个很大的突破,但是还欠缺一种思维,就是物联网思维或者叫大数据思维。个人理解物联网思维是指物品能拥有自己的思想,它能自主思考、分析处理数据,这些
    发表于 09-24 20:54

    常用大数据处理技术归类

    “21世纪最缺的是什么?人才!”。在大数据发展如此之快的今天,大数据工程师已经成为一个新兴职业。大数据是信息技术,是人和人、人和机器、机器和机器交互的内容特征,是最底层的信息
    发表于 02-28 17:02

    常见大数据应用有哪些?

    数据采集阶段大数据数据采集阶段需掌握的技术有:Python、Scala。六、大数据商业实战阶段大数据
    发表于 03-13 16:50

    大数据运用的技术

    大数据是对海量数据进行存储、计算、统计、分析处理的一系列处理手段,处理
    发表于 04-08 16:50

    大数据专业技术学习之大数据处理流程

    随着互联网的发展,大数据也在逐渐彰显出自己的优势特点,那么关于大数据处理流程,你是否了解?第一,数据采集定义:利用多种轻型数据库来接收发自
    发表于 06-11 16:41

    【教学基地】大数据处理(初步分析部分)

    `大数据处理(初步分析部分)`
    发表于 06-14 01:36

    大数据开发核心技术详解

    数据的核心是云技术和BI。关于大数据和云计算的关系人们通常会有误解,而且也会把它们混起来说,分别做一句话直白解释就是:云计算就是硬件资源的虚拟化;大数据就是海量
    发表于 07-26 16:26

    NLPIR大数据语义智能分析平台先精准分词才语义分析

    全球四十万家机构用户,是大时代语义智能分析的一大利器。  NLPIR大数据语义智能分析平台平台针对互联网内容处理的需要,融合了自然语言理解、网络搜索和文本挖掘的
    发表于 08-27 10:53

    大数据处理分析能力的提高

    如何提高大数据处理分析的能力
    发表于 08-23 13:07

    阿里巴巴高级技术专家章剑锋:大数据发展的 8 个要点

    学习,实时更新机器学习模型目前以 Kafka,Flink 为代表的流处理计算引擎已经为实时计算提供了坚实的底层技术支持,相信未来在实时可视化数据以及在线机器学习方面会有更多优秀的产品涌现出来。当
    发表于 10-14 10:56

    什么是大数据大数据的特点有哪些

    大数据(big data)目录1什么是大数据2大数据的定义3大数据的特点[1]4大数据的作用[2]5大数
    发表于 07-12 06:52

    大数据技术与应用是学什么的?

    大数据技术与应用是学什么的?大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理数据集合。
    发表于 07-27 07:47

    混合服务/分析处理(HSAP)或将取代大数据

    混合服务/分析处理(HSAP)具有强大的分析能力,那么会取代大数据技术吗?大数据的下一步发展是什
    的头像 发表于 08-14 10:15 2544次阅读

    如何对大数据进行分析处理

    大数据时代已经来临,所以我们对大数据这个词已经不再陌生,甚至于大数据已经作为一门前沿科学,成为广大高校开展招生的热门专业,其前景良好并且内容广泛。其实,如果想要深入理解大数据没有想象的
    的头像 发表于 02-01 10:33 2644次阅读