数据中心光互联技术发展及400G光?椴馐

2021-01-07 20:41:01 深圳市瑞普高电子有限公司 488

一、数据中心的网络结构

??随着云计算和大数据的普遍应用,数据中心作为云计算的核心基础设置,其计算能力和内部数据交换能力也呈现出指数级的发展。

??对于数据中心来说,其内部服务器以及交换机间普遍采用光?榛駻OC电缆进行互联。现代新一代的数据中心为了应对数据流量的增长以及兼顾更灵活的扩容升级和冗余备份能力,普遍开始采用以Facebook公司倡导的Spine-Leaf的网络架构,数据中心内部的数据交换和吞吐能力更强,同时网络结构也更加扁平化和密集。

??因此,现代大规模数据中心对于光?榈男枨罅考肮庀俗试吹男枨罅糠浅4螅饣チ某杀菊剂送绯杀镜暮艽蟊壤绾窝≡窈鲜实募际跬奔婀思际醴⒄购徒ㄉ杓霸宋杀臼蔷薮蟮奶粽健

瑞普高电子领先的一站式测试仪器技术服务商


从技术需求来说,数据中心的光?檠≡裰饕悸堑氖谴渚嗬搿⑺俾省⒚芏群凸摹

??从传输距离来说,其应用场景主要分为以下几个方面:

??<20m,主要用于机柜内部的服务器和TOR交换机互联,目前数据速率以10G、25G为主,正在向50G或100G过渡。实现方式以DAC(直接连接的铜线电缆)或AOC(有源光缆)电缆为主。

??<500m,主要用于数据中心同一机房内Leaf到Spine交换机的互联。目前数据速率以40G、100G为主,正在向400G过渡。其中100m以下的短距离主要以850nm的多模(MM)光纤为主;100m~500m距离多采用1310nm波长的单模(SM)光纤,出于成本考虑主要采用并行单模(PSM)技术。

??<10km,主要用于数据中心楼宇间交换机或路由器的互联。目前数据速率以100G为主,正在向400G过渡。这个距离上光纤的成本占比已经较大,因此多采用波分复用技术在单根光纤上传输更多路信号,以1310nm波长的粗波分复用(CWDM)技术为主,部分短距离(500m~2km)场合仍可以使用PSM技术。

??>10km,主要用于多个数据中心间的互联(DCI)。目前实现方式以100G+DWDM(密集波分复用为主),未来80km以上主要采用400G相干通信+DWDM,80km以下也有采用PAM4+DWDM的实现方式。传输波长以1550nm波长为主,通过DWDM方式在单根光纤上实现40~80个波长的复用来达到4T~32T的传输速率。部分短距离(10km~40km)、速率要求不高的场合仍可以使用1550nm波长的CWDM技术。

??二、400G光?榈姆掷

??光?槭鞘迪质葜行哪诓抗馔缁チ墓丶布璞福孀哦丝谑兔芏鹊奶嵘饽?榈某杀净嵴嫉绞葜行墓馔绯杀镜慕咏话搿D壳案鞔蠡チ拘陆ǖ氖葜行囊丫毡椴捎100G的互联技术,并会在未来2~3年内大规模商用400G的互联技术。因此,400G光?榈氖迪旨际醭晌到绻刈⒌闹氐恪

?? 从光波长上区分,400G光?榭梢苑治嗄(MM)、单模(SM);从信号调制方式上,分为NRZ和PAM4调制(目前以PAM4为主);从传输距离上区分,400G光?榭梢苑治猄R、DR、FR、LR;从封装形式上,400G光?榭梢苑治狢DFP、CFP8、OSFP、QSFP-DD等。下图是400G光?榈募际醴掷唷

瑞普高电子领先的一站式测试仪器技术服务商

早期的400G光?槭褂玫氖16路*25Gbps NRZ的实现方式(如400G-SR16),采用CDFP或CFP8的封装。其优点是可以借用在100G光?樯铣墒斓25G NRZ技术,但缺点是需要16路信号进行并行传输,功耗和体积都比较大,不太适合数据中心的应用。

??目前的400G光?橹校诠饪诓嘀饕鞘褂8路*53Gbps PAM4(400G-SR8,FR8,LR8)或者4路*106Gbps PAM4(400G-DR4,FR4,LR4)实现400G的信号传输,在电口侧使用8路*53Gbps PAM4电信号,采用OSFP或QSFP-DD的封装形式。OSFP和QSFP-DD封装都可以提供8路电信号接口。相比较来说,QSFP-DD封装尺寸更小(和传统100G光?榈腝SFP28封装类似),更适合数据中心应用;OSFP封装尺寸稍大一些,由于可以提供更多的功耗,所以更适合电信应用。

??下图分别是400G-FR8/LR8以及400G-FR4的实现方式(Reference:OSFP MSA Specification for OSFP OCTAL SMALL FORM FACTOR PLUGGABLE MODULE)?梢钥吹剑涞缈诓喽际8路53Gbps PAM4信号。

??光口侧情况稍微复杂一些,对于400G-SR8/FR8/LR8等?槔此担饽?槟诓恐皇亲鯟DR(时钟恢复)以及电/光或光/电转换,因此光口侧与电口测一样,也是8路53Gbps PAM4信号;对于400G-DR4/FR4/LR4等?槔此担饽?槟诓炕褂蠫earbox(变速箱)芯片把两路电口输入复用成一路信号再调制到光上,因此光口侧的速率是电口侧速率的2倍,即4路106Gbps PAM4信号。

瑞普高电子领先的一站式测试仪器技术服务商


另外,由于多模光纤在短距离传输上的成本优势,所以IEEE也在2018年3月份成立了802.3cm工作组,把之前在业界讨论的用8路(SR8)甚至4路(SR4.2)多模光纤实现400G传输的技术纳入规范讨论中。

??从未来来说,出于成本的考虑,用4路光信号实现400G传输的方式可能会成为主流;同时光?榈牡缃涌谝部赡芑嶂鸾ド兜4路*106Gbps PAM4的形式,以省去Gearbox芯片从而节省功耗和成本。在超远距离(>80km)传输上,以OIF组织正在制定的400G-ZR规范为例,会采用相干通信+DWDM方式实现。

??三、400G光?橹饕馐韵钅

??从前一章的介绍可以看到,400G的光?槠毡椴捎昧薖AM4(4-level Pulse Amplitude Modulation:4电平脉冲幅度调制)的信号调制技术,即采用4个不同的信号电平来进行信号传输,每个符号周期可以表示2个bit的逻辑信息(0、1、2、3)。

??因此,要实现同样的信号传输能力,PAM4信号的符号速率只需要达到NRZ信号的一半即可,传输通道对其造成的损耗大大减小,但付出的代价是信噪比会比NRZ信号恶化很多,测量方法也会有比较大的差异。下图是典型的NRZ信号的波形、眼图与PAM4信号的对比。


瑞普高电子领先的一站式测试仪器技术服务商

对于400G光?槔此担渲饕母咚俳涌诎缡淙虢涌凇⒐馐涑鼋涌凇⒐馐淙虢涌凇⒌缡涑鼋涌冢约捌渌牡缭春偷退俟芾斫涌凇

??因此,对于400G光?榈牡缙阅苎橹だ此担渲饕馐韵钅糠治饪诜⑸浠副辍⒐饪诮邮栈菹蕖⒌缈诜⑸浠副辍⒌缈诮邮栈菹蕖⑾低巢馐浴

??3.1 发射机测试

??光发射机、电发射机电气特性测试环境如下。

瑞普高电子领先的一站式测试仪器技术服务商

发射机的测量项目又分为光发射机的测量项目和电发射机的测量项目,主要用于验证光口及电口输出信号的质量。

??3.1.1 光发射机测试方法

??主要用于验证被测光?榉⒊龉庑藕诺闹柿俊2馐苑椒ㄈ缦拢罕徊夤饽?椴逶贛CB夹具上,上电并配置正常工作;误码仪产生PAM4电激励信号送给光?橐宦返缡淙攵耍沟帽徊夤饽?槭涑鯯SPRQ的光信号,?榈南嗔诘缤ǖ郎鲜淙隤AM4的串扰信号。输出光信号经时钟恢复进采样示波器进行光发射机参数测试。更换其它通道依次测量所有通道光发射机指标。

??TDECQ (Transmitter and dispersion eye closure for PAM4)即发射机色散眼图闭合代价,是衡量光发射机经过一个典型的光通道后PAM4信号功率裕量的损失。正常用于光信号传输的激光器都有一定的谱线宽度,经过一段距离传输后,色散效应就会造成信号中不同波长成分的传输时延的变化。这些不同传输时延的信号在接收端叠加在一起就会造成信号质量的恶化,从而导致接收端的灵敏度下降。

??在10G以太网IEEE 802.3ae标准里,这个指标定义为TDP (Transmitter and Dispersion Penalty) ;在100G以太网IEEE 802.3bm标准里,这个指标定义为TDEC(Transmitter and Dispersion Eye Closure) ;而在针对200G/400G以太网IEEE 802.3bs标准里,这个指标就是TDECQ(Transmitter and dispersion eye closure for PAM4)。

??TDECQ通常用dB表示,对于PAM4信号来说,TDECQ值越小,表示这个信号相对于理想信号的功率裕量损失越小,或者说能在光纤里传输更远的距离。根据802.3bs里的定义,TDECQ的参考测试方法如下图所示:

瑞普高电子领先的一站式测试仪器技术服务商


在测试中,被测件产生SSPRQ码型的光信号,然后经过测试光纤进行传输。被测信号经光纤传输后进入测量用的采样示波器,采样示波器一方面通过符合规范的CRU(Clock Data Recovery)电路进行时钟恢复,另一方面把被测光信号经过参考滤波器后进行采样。采样后的波形要进行5阶FFE的信号均衡,然后以CRU恢复时钟为基准形成PAM4信号眼图。

??眼图形成以后,再根据信号眼图的光调制幅度(OMA)、信号幅度噪声(R)、以及和误码率要求对应的外推系数(Qt)根据公式计算TDECQ的值。

??下图是在采样示波器里对均衡后光信号的参数进行OMA、ER、TDECQ等参数测试的例子。我们可以看到,尽管很多测量参数的定义非常繁琐,但基于示波器里的PAM4测量选件,使用者不需要繁琐的操作,就可以快速得到需要的测量结果。

瑞普高电子领先的一站式测试仪器技术服务商


3.1.2 电发射机测试方法

??主要用于验证被测光?榈缈谑涑龅闹柿俊2馐苑椒ㄈ缦拢罕徊夤饽?椴逶贛CB夹具上,上电并配置正常工作;误码仪产生PAM4电激励信号送给光?橐宦返缡淙攵耍饽?橄嗔诘缤ǖ郎鲜淙隤AM4的串扰信号。输出光信号环回到光接收机,并测试其电通道输出的PRBS13Q信号参数。

??眼高(Eye Height)和眼宽(Eye Width)是400G光?榈缧藕胖柿坎馐缘闹匾问T贗EEE 802.3bs规范中,定义眼图测试时使用PRBS13Q的PAM4码型。被测点输出的信号经过参考均衡器和时钟恢复后叠加形成眼图。因此,合适带宽的示波器、正确的均衡器以及可靠的时钟恢复对于PAM4信号的眼图测试至关重要。而对于Module输出端的测试来说,还需要模拟出信号经过Host内部走线损耗对于信号的影响,所以测试中示波器还需要在捕获到的信号上叠加上约6.4dB的传输通道损耗。

??由于PAM4信号会形成3层眼图,所以对每层眼图要分别测量。在IEEE 802.3bs规范里,定义以中间层眼图的中心位置为参考点计算眼高和眼宽。在测试过程中要更换不同的均衡器的值,并根据信号的噪声和抖动概率分布来计算等效的眼高和眼宽,这是一个非常复杂的计算过程,这里不做具体论述。

瑞普高电子领先的一站式测试仪器技术服务商


3.2 接收机及误码率测试

??发射机的测试项目主要用于保证光?榈墓饪诤偷缈谑涑鲂藕诺闹柿俊Q细窭此担剐枰橹す饽?榈墓饪诤偷缈诮邮招藕诺哪芰Α

??光?榻邮盏降墓庑藕磐ǔ>艹ぞ嗬氲墓庀舜洌邮盏降墓庑藕派峡赡艿恿烁髦侄抖驮肷怨饨邮栈馐钥梢杂糜谘橹け徊夤饽?槎杂诙窳庸庑藕诺娜萑棠芰Α

??同时,光?樾枰拥缈诮邮战换换蚍衿鞣⑺凸吹牡缧藕挪⒆晒庑藕欧⒊鋈ァS捎诘缧藕啪璓CB、连接器传输会产生较大的损耗和发射,所以电接收机测试项目可以验证被测光?槎杂诙窳拥缧藕诺娜萑棠芰Α

??3.2.1 光接收机测试方法

??IEEE 802.3bs规范中对于光接收机的压力容限测试方法描述如下:通过参考的PAM4信号源与抖动、噪声、码间干扰注入源,以及参考的光发射机产生所需的光压力信号。

??对光压力信号由外围消光比OER,外光调制幅度OOMA和压力眼图闭合代价SECQ来表征。PAM4光压力信号首先由一个参考光接收机进行校准,以确保其参数符合规范要求。这个接收机包含符合规范要求的理想4阶贝塞尔-汤姆逊低通滤波器,规范要求的FIR均衡器以及时钟恢复功能。

??校准后的光压力信号输入被测接收机的一个通道,被测接收机其余通道输入正常通信的光信号。最后由被测光?榛坊氐缧藕诺轿舐胍堑奈舐爰觳饪冢蛲ü邮栈诓康奈舐胪臣乒δ芙形舐牒脱沽α槊舳鹊炔馐浴O峦际400G-DR4光?榈墓庋沽ρ弁疾馐钥蛲迹约案鞑糠侄杂Φ牟馐砸潜怼

瑞普高电子领先的一站式测试仪器技术服务商

3.2.2 电接收机测试方法

??IEEE 802.3bs规范中对于光?榈牡缡淙肟诘难沽θ菹薏馐苑椒枋鋈缦拢和ü慰嫉绶⑸浠(通常是码型发生器)以及抖动注入源、码间干扰源和串扰源,将压力电信号输入MCB夹具。之后将参考接收机(通常是示波器)通过HCB夹具与MCB夹具连接在一起,对压力电信号进行校准。

??参考接收机包含符合规范要求的理想4阶贝塞尔-汤姆逊滤波器,规范要求的CTLE均衡器以及时钟恢复功能。PAM4电压力信号由眼图对称模板宽度ESMW,眼宽EW,眼高EH和附加正弦抖动SJ的频率和幅度来表征。经过校准的电压力信号接入被测?榈缡淙肟诒徊馔ǖ溃⒂赡?槟诘腇EC误码检测功能进行误码与接收容限测试,或将信号环回输出至外部的误码分析仪进行分析。

瑞普高电子领先的一站式测试仪器技术服务商

下图是测试中用到的实际测试仪器。

瑞普高电子领先的一站式测试仪器技术服务商


3.3 系统测试

??系统测试的主要目的是验证被测光?榕浜辖换换ぷ魇保谡媸档囊滴窳髁壳榭鱿碌奈舐肼室约按砦笕萑棠芰Α400G的光?槠毡椴捎昧薖AM4(4电平调制)技术,虽然减少了高速信号传输需要的带宽,但由于信噪比的恶化,使得其原始误码率很难达到传统2电平调制时1e-12的水平,所以其原始误码率的要求比较低,比如IEEE 802.3bs中对于光口误码率的要求仅仅为2.4e-4。

??很多通信过程在这么高的误码率情况下是无法正常工作的,所以FEC(前向纠错)技术被普遍采用。FEC是通过在数据块里插入一些冗余的校验bit,可以对随机产生的错误bit进行修正,从而保证最终数据包的丢包率在可以接受的范围之内(<6.2e-11)。

??因此,系统测试中需要对光?榈脑嘉舐肼室约熬鼺EC修正后的丢包率都进行测试,并验证在出现已定随机错误符号或者频率偏差时系统性能是否受到影响。典型的系统测试环境如下:

瑞普高电子领先的一站式测试仪器技术服务商

其测试方法如下:在数据流量测试仪上发送64字节长度连续数据帧,FEC修正前的BER值应小于2.4e-4;在流量测试仪上运行以太网流量测试软件,并发送64字节长度、100%线速率的数据帧,累积至少1e+12个数据帧后,读取端口的Frame Loss Ratio值应小于6.2e-11;在流量测试仪上进行FEC后单个或多个(<15个)的误码注入,并验证经FEC后的误包率满足802.3bs的规范要求;在流量测试仪上对速率进行100ppm的调整,并验证误码率和误包率满足802.3bs的规范要求。

??下图是进行FEC修正前的误码率及FEC修正后的丢包率测试的例子。

瑞普高电子领先的一站式测试仪器技术服务商

四、测试仪器

??4.1 高性能采样示波器(光/电眼图仪)及时钟恢复

??高速采样示波器主要用于光发射机的光眼图测试、光?橐约癆OC的电眼图测试等,也可以用于未来电接收机以及光接收机容限测试中的信号校准。眼图仪的测试需要和信号同步的工作时钟,当被测件无法提供同步参考时钟时,需要光/电时钟恢复?榇颖徊饧指词敝硬拍芙胁馐浴

瑞普高电子领先的一站式测试仪器技术服务商

Keysight N1000A系列是在原86100D基础之上再续经典的采样示波器系列,它可向下兼容原有86100D平台上的?椋敫叽聿⒛谥肅DR, PTB功能的N1060A?樽楹鲜褂檬茄蟹⒔锥蔚牡魇岳鳌1092系列光/电采样示波器和N1077A/N1078A光/电时钟恢复?槭鞘忻嫔霞啥茸罡摺⒐δ茏盍榛畹母咚俟/电眼图测试仪器。其主要指标及特性如下:

??单模/多模光口测试:工作波长范围830 至 1600 nm

??光通道速率:支持25G/28Gbps NRZ、53G/56Gbps PAM4、106G/112Gbps PAM4光信号测试

??灵敏度:-11dbm @850nm;[email protected]

??差分电口测试:集成差分50GHz带宽电口,支持32Gbps NRZ和64Gbps PAM4的电眼图测试

??固有抖动:≤200fs rms

??时钟恢复:支持32Gbps NRZ和64Gbps PAM4的光/电时钟恢复

??多通道扩展:通过电脑USB口控制,可连接多个?;测试软件支持最多8个测量?椤⒐32个光或电通道的并行眼图测试。

??软件功能强大:支持100GE 802.3 发射机各种参数的测试,包括抖动TJ, DJ, RJ, PJ, DDJ, ISI, BUJ, J1~J9, UJ, F/2, TI, DI, RI, OMA, Q值及 RIN, RIN&OMA 等测试,还包括802.3bm标准中对多模信号的TDEC测试,以及400G PAM4 信号波形参数的测试以及TDECQ测试等。

??和Keysight 误码仪以及其他光学仪表配合,可以测试100G或400G光接收机的压力容限,是业界唯一可以提供所有压力容限测试方案的厂家,保证了未来测试系统的平滑升级。

??4.2 高速PAM4误码仪

??高速误码仪主要用于光发射机(光眼图)测试中产生高质量的电信号激励以及误码率测试,也可以用于电接收机以及光接收机容限测试中产生带抖动和压力的电信号验证接收容限。如果仅仅进行光眼图或电眼图测试,可以用经过验证的高质量的流量测试仪产生电信号激励。

瑞普高电子领先的一站式测试仪器技术服务商瑞普高电子领先的一站式测试仪器技术服务商


Keysight M8040A误码仪是市面上性能最高、最灵活、连接最简单的NRZ及PAM4误码仪,其主要特性和指标如下:

??高速电信号产生:单机箱内可以产生1~2路32Gbps的NRZ信号产生,可以升级64Gbps的PAM4信号或128Gbps的PAM4信号功能用于400G?椴馐浴

??高速电信号误码检测:单机箱内可以支持1~2路32Gbps的NRZ信号误码率检测,可以升级64Gbps的PAM4信号或128Gbps的PAM4误码率检测功能用于400G?椴馐浴

??光压力眼测试:可以升级100G、400G光?榈墓庋沽ρ鄄馐约白远W脊δ堋

??预加重:可选内置4阶NRZ/PAM4信号预加重。

??抖动注入:可选内置NRZ/PAM4信号的PJ、RJ、BUJ等抖动注入

??线性度调整:对PAM4信号3个眼高可独立调整。

??接收机均衡:内置可调CTLE均衡器,用于优化误码接收。

??自动抖动容限测试:可根据事先设定参数自动调整注入到信号上的抖动频率和大小,并根据误码率变化自动扫描出抖动容限曲线。

??PRBS码类型:2n-1, n=7, 10, 11, 13, 15, 23, 31等。

??自定义码型长度(每通道):2Gbit(NRZ)或1G 符号(PAM4) 。

??4.3 数据流量测试仪

瑞普高电子领先的一站式测试仪器技术服务商


Keysight公司的数据测试仪表通过测试仪机框插入测试业务板卡的方式完成组装,并根据插入的不同测试业务板卡提供不同的测试能力。

??Novus测试业务板卡提供QSFP28接口,K400测试业务卡提供QSFP_DD测试接口。

??QSFP28测试业务板卡支持根据IEEE协议,提供扇出(即FAN-OUT) 能力,每个QSFP28接口支持扇出成4个25GE速率SFP28接口,相关协议标准为IEEE 802.3 100GBASE-R、IEEE P802.3bj、IEEE P802.3bm、IEEE P802.3by。

??K400测试业务板卡支持400G、200G、100G PAM4速率转换。基于QSFP_DD支持前向纠错(FEC)端口统计,具体的包括: Total Bit Errors, Max Symbol Errors, Corrected Codewords, Total Codewords, Uncorrectable Codewords, Frame Loss Ratio, Pre-FEC Bit Error Rate, and Codeword error distribution analysis;协议以为KP4 RS-544。

??支持对400G前向纠错(FEC)注入差错。

??支持L1 BERT测试。

??五、总结

??综上可见,数据中心的光互联网络正面临从100G到400G的过渡,针对不同应用场景的技术也在彼此竞争。400G光?樽魑蠢词葜行哪诓抗馔缁チ墓丶布璞福裁媪偎俾省⒐摹⑻寤⒊杀镜确矫娴奶粽健M保琍AM4、FEC技术的广泛采用也使得400G光?榈牟馐院推拦婪椒ㄓ氪车100G光?橛斜冉洗蟮那稹N吮Vて湓谟邢蕹杀竞凸南碌男阅埽枰云涔饪凇⒌缈诘氖涑鲋柿俊⒔邮杖菹蓿约俺性卣媸狄滴袷菹碌奈舐肼实缺硐纸邢晗傅牟馐裕员Vど璞讣淞己玫幕チネ翱煽渴荽洹


瑞普高电子

瑞普高的服务宗旨

用真心对待客户,用技术赢得客户,

用诚信创建企业。

瑞普高的目标

以不断创新的服务理念,力争打造中国仪器行业的“一站式”服务的领先品牌。

瑞普高的团队精神

为美好的生活,负责的企业,进步的行业而同舟共济。

浏览详细

主推老鬼看盘今天任九推荐

联系我们