摘 要  数据中心是云计算的核心支持平台，云计算的发展对数据中心网络架构提出了严峻的挑战，传统电互连网络架构难以在带宽、设备开销、能耗、管理复杂度等方面同时满足云应用的要求，因此以低能耗、低开销、高带宽为特点的光互连网络架构出现并受到研究人员的广泛关注。 本文在对比电互连技术和光互连技术基本特点的基础上， 对数据中心光互连网络的研究现状展开综述，具体介绍了现有的光电混合网络、集中式全光网络和分布式全光网络，并从交换机制、扩展性、技术可行性、 设备开销等方面对上述网络架构进行了对比分析。 最后本文对数据中心光互连网络的未来研究趋势进行了总结和展望。

关键词  云计算；数据中心网络；光互连技术

1 引言

通过广泛的接入模式、共享的资源架构、按需的服务部署及灵活的容量扩展，云计算在近年来获得了广泛的部署和应用 [1] 。数据中心是云计算的核心支撑平台，随着云应用的广泛部署，数据中心的通信模式和业务需求出现了根本性变化。这些变化具体包括：①数据中心的网络规模和负载出现了指数级增长① ；②主要的流量模式由传统“南北向流量”转变为“东西向流量” ；③更多时延敏感和数据密集型业务在数据中心内运行；④一些虚拟化技术， 如虚拟机实时迁移， 需要网络提供更好的支持。这些变化对数据中心网络架构提出了更高的要求。传统数据中心网络在对分带宽、传输时延、网络可扩展性、容错性、资源利用率等方面均无法满足云业务的需求 [2][3] 。对此，研究人员提出了新的电互连网络架构， 如 Fat Tree [4] ， VL2 [5] ， DCell [6] , BCube [7] ,CamCube [8] ，Snowflake [9] 等。尽管上述架构能够有效满足新的云业务要求并改善数据中心的网络性能，但这些网络架构也同时带来了拓扑结构复杂、线缆开销过大、设备数量过多、网络能耗难以优化等问题。究其根本原因，在于随着网络容量的指数级增长， 基于 COMS 的电子元件几乎达到了其带宽的上限 [10] 。因此，光互连技术得到研究人员的极大关注。与电互连技术相比，光互连技术能够更好地满足云计算数据中心对能耗和带宽的需求。尤其随着绿色计算 [11] 、 Green Cloud [12] 等概念的提出， 数据中心光互连技术成为网络节能的重要方式 [13] 。近年来，结合云计算数据中心的流量模式和新型光交换器件，研究人员提出了多种新的光互连网络架构。

实验和仿真表明， 这些架构在吞吐、时延、灵活性、能耗等方面优于传统的电互连网络架构。但相对于电互连网络，工业界和学术领域对于数据中心光互连网络的研究尚处于起步阶段，其中很多技术挑战尚未得到很好的解决。随着云计算的发展，服务、计算、存储、网络将进一步融合为一个整体方案，相对于发展迅速的计算技术和存储技术，网络技术的革新相对缓慢。因此，深入研究数据中心网络，尤其是具有革新性的光互连网络，对于未来网络技术和云计算技术的创新发展都具有重要的意义。

本文将详细介绍数据中心光互连网络的最新研究进展，对比和分析现有网络架构的特点，总结并讨论数据中心光互连网络的未来研究趋势。

2 电互连网络的技术挑战

云计算的发展使数据中心内的流量出现了爆炸式增长，因此在接入层采用 10GigE 交换架构，在核心层采用40G/100GigE交换架构已基本成为数据中心网络未来的发展趋势。在这种情况下，数据中心电互连架构将面临以下技术挑战：（1）高带宽要求对于铜缆而言，在额定功率下其通信带宽和传输距离之间存在着一定的权衡，即随着通信带宽的提升，铜缆的传输距离会下降。对于 10Gbps 的通信带宽，铜缆的传输距离会小于 10m。若要获得更长的传输距离，则发射器的功率需要大于 6W/端口[14] 。因此，随着链路带宽需求的提升，铜缆不再是一种理想的传输介质。（2）高交换容量要求由于在单一线路上，电信号的传输速率受到信号损耗及码间串扰的限制，因此芯片设计中常通过增加线路位宽的方式提升信号的传输速率。但这种方式最终会受到芯片封装面积的限制。因此，随着信号速率的提升，交换芯片所能支持的端口数目会逐步降低。例如，文献[15]提出，在现有工艺水平及封装限制下， 若端口速率为 80Gbps， 则基于电集成技术的交换芯片最大支持的端口数目仅为 64。（3）低开销要求随着链路带宽的提升，电信号在铜缆或背板线路的传输损耗增大，因此信号需要进行复杂的预加重处理和差错控制。另外，由于端口密度和交换容量的限制，电交换网络需要使用更多的设备和更加复杂的互连方式以满足大容量交换的需求，这增加了网络的设备开销和布线开销。（4）低能耗要求能耗问题已经成为制约数据中心发展的瓶颈因素之一。根据预测，从 2012 年到 2020 年，高性能计算系统的峰值计算能力和带宽需要分别以 10倍/4 年和 20 倍/4 年的速度增长，但其能耗仅允许以 2 倍/4 年的速度增长。这对数据中心的设计提出了严峻的挑战 [16] 。数据中心的网络能耗占总能耗的23%左右，随着链路速率和交换机容量的提升，网络能耗所占的比例将继续增大 [17] 。由于目前电交换机的能耗不会随负载的降低而成比例缩减，因此电互连网络常用的节能策略主要包括 [13] ：①将网络流量整合至更少的链路和交换设备，关闭空闲的网络设备；②降低链路速率以节省发射机能耗。上述两种策略都会在一定程度上带来性能的损失。光互连技术具备巨大的潜力解决上述问题。例如文献[14]指出：在最优化的情况下，光电混合网络 Helios 能够比相同规模的电网络节省 2 倍的成本、5 倍的设备开销和 8 倍的网络能耗。光互连架构能够实现上述优化的主要原因包括以下几个方面：第一，在传输带宽方面，目前基于 100GbpsPM-QPSK 调制的相干接收器已经商用 [18] 。结合DWDM 技术，一对单模光纤的传输带宽可达12Tbps [19] 。进一步就传输距离而言，目前多模光纤和单模光纤的无中继传输距离可轻易满足数据中心内的互连需求。第二，在交换容量方面，光交换架构可以实现更高的交换容量。这是因为：①高速光信号的损耗和串扰远小于电信号；②通过波分复用技术，单一光波导内承载的信道数目可以实现数十倍的增长。第三，在网络开销方面，光纤具有更高的带宽、更小的横截面积和更轻的重量，因此能够带来更好的散热并降低网络的布线开销。同时，由于多数光交换单元对于信号的速率、调制模式、协议等具有透明传输的特性，因此网络能够在不更换光交换设备的情况下进行链路带宽的升级。另外由于光交换机能够实现更大的交换容量和更高的端口密度，因此很多全光互连网络或光电混合网络能够实现扁平化的架构设计。这在很大程度上降低了网络的设备和管理开销。第四，在能耗方面，光互连技术能够很好地解决能耗和性能的权衡问题。这主要因为：①光信号具有更低的损耗和更长的传输距离，因此光链路可以使用更低的发送功率；②对于全光交换架构，信号在中间节点不用经历 O/E（光-电）和 E/O（电-光）转换的过程；③光交换架构可以采用无源或低能耗光器件构建，因此可进一步缩减网络能耗。光互连技术和电互连技术的综合对比如表 1 所示。可以看到，由于受到通信带宽、交换容量、设备开销和能耗的限制，电互连网络已较难满足云计算数据中心的通信需求，因此具备高带宽和低能耗的光互连技术已受到研究人员的重点关注。尤其随着硅光技术和光集成技术的发展，光交换设备的成本日益降低，这更促进了光互连技术在数据中心的应用和部署 [20] 。

3 研究现状分析

3.1 光电混合互连网络架构为有效兼容现有数据中心的电互连技术，同时通过光互连技术解决核心层流量负载过大的问题，研究人员提出了光电混合互连架构。该架构中，电交换设备和光交换设备构成两个并行网络，不同流量将通过不同的网络完成传输。由于混合架构中，光互连网络一般采用商用全光交换设备构建，因此具有较高的技术可行性。典型的光电混合互连网络包括 c-Through [21] 、Helios [14] 、基于混洗-交换 [22] 和基于光突发环路 [23] 的光电混合网络。为有效的将光电路交换网络与传统电分组交换网络结合，以创建适合同时承载突发性业务和数据密集型业务的网络环境。G. Wang 等人提出了如图 1 所示的 c-Through 网络架构 [21][24] 。 在该架构中，每个 ToR（Top of Rack）交换机同时连接至一个电分组交换网络和一个光电路交换网络。其中，电分组交换网络由多个传统以太网交换机互连成树形拓 扑 ， 光 电 路 交 换 网 络 则 使 用 单 一 MEMS（Micro-Electro-Mechanical System，微机电系统）交换机构建。由于光电路交换机所提供的并行连接极为有限，同时在配置周期内光链路无法承载任何数据，因此光连接必须提供给网络中具有最大通信量的源-目的机架。c-Through 使用一套集中式控制系统完成光连接的优化配置。在该控制系统中，光配置管理器连接至所有服务器的统计信息接口以获取流量信息，同时该管理器连接至光交换机的控制接口以实现配置指令的下发。具体到控制流程，首先各服务器所部署的后台管理模块会实时监测每条 socket 队列所缓存的分组数目，并将该信息周期性汇报给光配置管理器。对于属于同一应用的TCP 连接，其分组会存储在指定 socket 队列中，因此通过收集所有服务器 socket 队列的缓存状态，光配置管理器可准确了解全网待发送的流量。完成状态信息收集后，光配置管理器将进一步生成流量矩阵。该流量矩阵以源机架号为行坐标、以目的机架号为列坐标，矩阵内的元素是从源机架到目的机架待发送的分组数目总和。根据该流量矩阵，光配置管理器将决定光交换机的最优配置。该优化问题实际是一个二分图的最大权重匹配问题。二分图中 A子集内的节点代表源机架，B 子集内的节点代表目的机架， 从A子集到B子集的一条边代表一条连接，边的权重为待发送的分组数目。对于该问题的求解可以使用经典的 Edmonds 算法。 在运行该算法获得配置结果后，光配置管理器将下发配置命令并通知服务器传输相应分组。未获得光连接的服务器将通过电网络传输分组。c-Through 在 ToR 交换机位置采用基于 VLAN 的路由算法从逻辑上分离电网络和光网络，VLAN-s 负责处理通过电分组交换网络的分组，VLAN-c 负责处理通过光电路交换网络的分组。

尽管 c-Through 能够在提供高通信带宽的同时保持网络的低复杂度，但在实际部署中却遇到了较多的挑战。主要原因在于数据中心的实际流量远比初始设计架构时的假设流量复杂。为解决这一问题 ， 在 文 献 [25] 中 ， 研 究 人 员 提 出 了Observe-Analyze-Act 控制架构，该控制架构将光交换机的配置过程划分为三个阶段，即观察阶段（Observe） 、 分析阶段 （Analyze） 、 配置阶段 （Act） 。在观察阶段，光配置管理器与不同设备进行通信并获取相应的信息。这些信息具体包括：从交换机位置获取的链路利用率信息，从任务调度器位置获取的应用状态信息，从服务器位置获取的应用优先级及 QoS 要求信息。随后，光配置管理器将上述信息进行汇总和分析。在该阶段，控制器将准确剖析应用的流量需求，探测病态（ill-behaved）负载，发现相关性流量，生成有效支持应用要求的优化配置。最后在配置部署阶段，光配置管理器会将配置命令下发至网络中光交换设备。该控制架构充分考虑了数据中心实际流量的复杂性特点，提出从应用层、任务调度层、网络层多个维度解析应用的流量需求，但该文章仅提出了控制架构的总体思想，并未就具体实现细节进行讨论。N. Farrington 等人提出了如图 2 所示的光电混合互连架构 Helios [14] 。该架构用于实现 pod 之间的混合互连。这里 pod 是一个包含 250 到 1000 台服务器的集群，pod 内服务器通过铜缆连接至 pod 交换机，不同 pod 之间通过核心层交换机进行通信。pod 交换机和核心层交换机相互连接构成一个 2 层多根树拓扑。其中，核心层交换机可以是电分组交换机或是基于 MEMS 的光电路交换机。电分组交换机用于处理 all-to-all 的突发性流量，光电路交换机用于处理 pod 间具有高带宽需求和长持续周期的流量。

Helios 中用于配置光连接的控制系统包括三个软件模块：TM（Topology Manager，拓扑管理）模块，CSM（Circuit Switch Manager，电路管理）模块，PSM（pod Switch Manager，pod 交换机管理）模块。其中，PSM 模块部署在 pod 交换机上，每个模块使用流计数器记录从本 pod 发往不同 pod 的流量（按字节计数） 。TM 模块周期性使用远程过程调用协议从所有 PSM 模块获取流量的统计信息。随后将这些信息填入以源pod号为行坐标、 以目的pod号为列坐标的字节计数矩阵中。通过当前周期的字节计数矩阵和前一个周期的字节计数矩阵，可计算出流速率矩阵。随后，TM 移除矩阵中流速率小于15Mbps 的元素，即获得只记录大流的流速率矩阵。该流速率矩阵不能直接应用于光电路的配置决策，TM需要进一步使用 Max-Min 公平带宽分配算法处理该矩阵以获得更好反映应用需求的流量需求矩阵。最后，TM 根据流量需求矩阵计算光电路的最优配置， 该建模过程和使用的求解算法与 c-Through架构相同。 在获得配置结果后， TM 将通知 CSM 配置光电路交换机的输入输出端口， 同时通知 PSM 将未获得光连接的流量转发至核心层的电分组交换机。Helios 架构通过使用商用全光交换机和 WDM收发器实现网络成本和能耗的缩减。

但由于传统MEMS 全光交换机主要应用于电信骨干网 [26] ， 在数据中心环境中，MEMS 交换机主要存在以下缺陷：①端口规模有限，较难支持大规模的网络互连；②交换机配置时延过长（10ms~100ms） ，光链路的带宽利用率相对较低；③交换机的插入损耗较大，可能会限制交换机的级联。文献[27]对 MEMS 光交换机的配置时延进行了详细的分析。研究发现，通过使用先进的交换器件可以进一步缩减交换机的配置时延，这种优化将带来网络吞吐的显著提升。由于 MEMS 交换机较长的配置时延会带来光电路利用率的下降。同时一旦交换机响应某个连接请求，则在后续一段时间内，交换机的特定输入输出端口被该连接独占。这种有限的连通性在部署至大规模网络时会成为挑战。为解决上述问题，D.Lugones等人提出了基于混洗-交换拓扑的光电混合网络 [22] 。在该网络架构中，具有点到点通信、长持续时间和高负载的数据流通过光电路交换网络，低速率的数据流和控制消息通过电分组交换网络。为保证光网络的可扩展性，光互连架构部分采用了如图 3 所示的单级混洗-交换（SSX，Single-stageShuffle eXchange）拓扑。该拓扑由边缘层和核心层构成，其中边缘层包括 N 个 k 端口电分组交换机，核心层包括一个或多个 MEMS 光交换机。

电分组交换机的每个输入输出端口通过单向光纤连接至光电路交换机，而光电路交换机内部的交叉矩阵按照特定的混洗规则进行配置。 与传统混洗-交换网络不同的是：在该架构中，分组首先在电交换机内执行交换操作，即通过路由计算选择合适的输出端口；随后分组在光交换机内执行混洗操作。由于光交叉开关总是按照某种混洗模式配置输入输出端口， 某些分组无法通过一次交换-混洗操作到达目的节点。因此文章提出了多跳路由的方式，若分组在经过一次光交换机后并未到达目的节点，则该分组需要在中间节点（电分组交换机）再次路由并重新注入光交换网络。该过程会进行多次直到分组到达目的节点。这种多跳路由的方式一方面增加了光电路交换机的逻辑连通性，另一方面减少了交换机的配置频率，能够在一定程度上提高光链路利用效率。另外，该架构中光交叉开关矩阵的混洗连接模式并非固定不变的。文章提出了一种启发式算法，该算法将根据网络的流量状态动态改变光交叉矩阵的混洗模式，以保证当前网络中具有最大通信负载的源、目的节点对通过一跳光连接到达，其余节点对则通过多跳的光连接到达。该启发式算法以流量矩阵  和光交换机当前的混洗连接状态为输入，具体操作包括以下几步：第一，找出该流量矩阵中N 对具有最大通信量的源、目的节点对，并将对应元素 [ ][ ] i j  写入子集  中。其中 [ ][ ] i j  表示源节点i 到目的节点 j 的流量。第二，针对子集  中的一个元素 [ ][ ] i j  ，检查源节点 i 到目的节点 j 的跳数( , ) d i j 是否大于 1。若是，则寻找替代节点 s，s 需要满足条件 ( , ) d s j =1，且 [][ ] [ ][j] i j s    。第三，若在第二步中找到替代节点，则进行混洗模式的重新配置， 将混洗拓扑中 s 到 j 的连接修改为 i 到 j 的连接。第四，将第二步和第三步重复执行 N 次。若混洗拓扑已经改变了 m 对连接的配置（ m N  ） ，则原有的 m 对连接被拆除。 此时该混洗拓扑中存在 m个空闲的输入端口和 m 个空闲的输出端口， 将这些空闲输入输出端口按照混洗模式重新连接。尽管混洗-交换网络能够在一定程度上缓解光电路交换所带来的性能问题，但该网络仍然对通过光连接的流量有两点要求：①流量的持续时间远大于 MEMS 交换机的配置时延；②流量的带宽需求不能小于一个波长信道的带宽。

这些限制条件意味着在实际中只有部分业务能够通过光电路交换获得收益。采用新的交换机制是解决上述问题的根本方法。对此 C. Y. Li 等人提出了结合光突发交换和电分组交换的混合网络架构 [23][28] 。如图 4 所示，该架构的电互连网络部分采用两层的多根树拓扑。底层由 ToR 交换机或 End of Row (EoR)交换机组成，每台底层交换机连接数十台服务器构成 pod。上层由高性能核心交换机组成，每台核心交换机连接所有底层交换机。底层交换机除连接上层的核心交换机外，还通过光纤链路连接成环形拓扑，该环形拓扑即构成混合架构的光互连部分。在该混合架构中，突发性流量将通过核心交换机转发，而相对稳定的流量则在光突发环路上传输。每台底层交换机配置有 LC（Line Card，线卡） ，SC（Switch Card，交换卡） ，OBLC（Optical Burst Line Card，光突发线卡） ，OBSC（Optical Burst Switch Card，光突发交换卡） 。 其中， LC 用于连接服务器和核心交换机，SC 用于转发 pod 内分组并进行流量汇聚， OBSC 用于实现光突发块上下环路，OBLC 用于生成或接收光突发块。架构采用面向连接的方式传输光突发块，分组在传输之前需要建立连接并预约该连接的持续时间。在光突发环路上，该持续时间可以用连接所支持传输的光突发块数目衡量。由于业务的流量会持续地产生， 因此OBLC所请求的传输容量 （以光突发块的数目计算）会大于当前所存储的分组数目。在连接建立后，源节点将记录已发送光突发块的数目。当 OBLC 接收到新产生的流量后，首先检查本 pod 是否已经建立到达目的 pod 的连接。若连接存在且剩余的传输容量支持新到达的流量，则OBLC 将流量封装成光突发块并通过 OBSC 发送。否则，OBLC 请求建立一条新的连接。光突发环路使用多个波长信道增加链路带宽，控制信息在特定的波长信道上传输。环路上某个 pod 中的一台服务器将作为超级节点从控制信道收集所有节点的连接请求，随后为每对连接分配波长信道和光突发块的发送时隙。配置信息会封装在信道每个突发帧的首个光突发块中，所有节点需要在指定时隙接收在该信道内广播的配置信息，随后按照该配置信息进行光突发块的发送或接收。由于该架构并未使用具有较长配置时延的 MEMS、WSS（WavelengthSelective Switch，波长选择交换机）等光器件，因此具有更好的灵活性和更高的带宽利用率。但面向连接的光突发交换仍然存在链路建立的时延开销和控制开销。同时由于架构采用了集中式仲裁的方式，这些开销会随着节点规模的上升而增大。

3.2 全光互连网络架构光电混合互连网络的优势在于：①为传统电互连网络提供了渐进式升级的方案；②该类光网络一般使用成熟的光交换技术和设备构建，因此能够较快部署到实际网络中。但由于光电混合网络中仍存在大量的电交换设备，因此网络并未在能耗和设备开销方面取得显著的优化。目前大规模集群系统的能耗水平已经超过预期，为进一步降低能耗，需要在服务器级互连、板级互连、甚至在芯片级互连领域广泛使用光技术 [29] 。因此，研究人员提出了多种面向下一代云计算数据中心的全光网络架构。值得注意的是：由于目前全光互连网络的扩展性极为有限，这些架构最多提供数千个交换端口，无法实现服务器级的全光互连。在这些网络中，仍然需要使用少量电交换机完成机架内互连或簇内互连。因此，目前我们主要根据网络的簇间（或机架间）通信方式来区分光电混合网络和全光网络。若位于不同簇（或机架）的服务器既可通过电网络通信，又可通过光网络通信，则该网络属于光电混合互连网络。若位于不同簇（或机架）的服务器只能通过光网络进行通信，则该网络属于全光互连网络。从互连方式上看，可以将全光互连网络划分为集中式光互连网络和分布式光互连网络。根据所使用的核心光器件，集中式光互连网络可进一步分为基于 MEMS、基于 AWGR（array waveguide gratingrouter ， 阵 列 波 导 光 栅 路 由 器 ） 、 基 于 SOA（semiconductor optical amplifier， 半导体光放大器）和基于微环谐振器的光互连网络。下面将分别介绍各类网络架构的典型设计方案。3.2.1 集中式全光互连网络架构考虑到数据中心的实际流量往往呈现局部性特点，采用全对分带宽的网络拓扑不仅会带来成本、能耗、布线复杂度等问题，而且可能造成带宽资源的浪费。设计一种灵活可重配置的网络架构能够在性能和成本上实现更好的权衡。基于此，A.Singla 等人提出了如图 5 所示的 Proteus（或 OSA）架构 [30][31] 。该架构使用 MEMS 光交换机直接连接所有 ToR 交换机构成星形拓扑。 每个 ToR 交换机配置有数个工作在不同波长的光收发器，从这些收发器发送的多波长信号经过复用后输入 1×k 波长选择交换机（WSS） 。波长选择交换机根据配置将波长重分为 k 组，并通过 k 个端口将信号送入 MEMS光交换机。通过配置 MEMS 交换机的交叉开关矩阵， 每个 ToR 交换机可以与其他 k 个 ToR 交换机直接连接。对于非直接互连 ToR 交换机，Proteus 提出了 hop-by-hop 的通信方式。 源 ToR 交换机选择当前 k 个连接中的一个作为中间节点， 该中间 ToR 交换机接收到信号后进行光电转换，读取分组头部并重新向目的 ToR 交换机转发。 为避免转发流量过大造成中间节点缓存溢出的问题，高通信流量的节点对之间需要采用直接互连的方式。除通过动态配置光交换机改变网络拓扑的连通性外， Proteus 还通过波分复用技术和 WSS 实现链路带宽的灵活配置。在该架构中 TM（topology manager，拓扑管理器）负责完成 MEMS、WSS 和 ToR 交换机的优化配置工作。为最大化网络吞吐，TM 需要根据流量矩阵完成以下配置：①MEMS 光交换机的配置，保证具有最高通信量的 ToR 交换机通过一跳完成通信。 ②WSS 的配置，确保每个端口的带宽满足 ToR 交换机的发送需求。③ToR 节点对之间的路由配置，保证流量低时延、无阻塞到达目的节点。文章将这个优化配置问题转换为一个混合整数线性规划，并提出使用启发式算法求解该问题。 Proteus 的优势在于网络具备较高的带宽灵活度，能够根据流量需求提供较高的对分带宽。但由于 Proteus 使用 MEMS 交换机，因此对于业务的流量特点仍然有较高的要求[32] 。尽管 MEMS 全光交换机是比较成熟的商用设备，该交换机的使用能够带来网络成本的降低。但较长的配置时延会严重影响交换粒度和网络的性能，因此研究人员基于其它的快速光交换单元提出了新的交换架构。

Ye 等人提出的 DOS（或 LION [33] ）架构基于AWGR 构建 [34] 。AWGR 是一种基于波长交换的元件，通过干涉相消和干涉加强效应实现光信号从任意输入端口到任意输出端口的路由。对于某端口的输入信号，其输出端口取决于信号的波长。通过在输入端口部署 TWC （Tunable Wavelength Converter，可调波长转换器）即可实现对信号路由的控制。如图 6 所示， DOS 使用核心光交换架构直接互连所有服务器节点。该核心光交换架构具体包括 TWC、AWGR 和共享式环回缓存。 源节点发送的分组通过光通道适配器进行电光转换，随后部署在输入端口的光标签提取器将提取分组头域信息，并将该信息送入控制层进行路由计算和仲裁。控制层将根据仲裁结果配置输入端口的 TWC， 光分组经过 TWC 时被转换到特定波长并路由到对应的输出端口。根据AWGR 的波长路由特性， 同一输入端口的信号通过不同的波长到达不同输出端口。若输出端口接收到不同输入端口的信号，则这些信号的波长必然不同。因此，对于 N 端口 AWGR，若在输出端口配置1：N 解复用器，则 AWGR 可以实现 all-to-all 无阻塞通信。但这会带来较高的器件成本，因此在实际应用中 AWGR 的输出端口会配置 1: ( N) k k  解复用器。这将导致使用某些波长的分组无法同时到达输出端口。为解决波长竞争问题，DOS 使用了 SLB（Shared Loopback Buffer， 共享式环回缓存） 结构。竞争分组将被路由至环回缓存的输入端口，通过光电转换临时存储在环回缓存中。缓存控制器负责为竞争失败的分组发送重新传输的请求，收到响应后，相关分组将再次进行电光转换并通过 AWGR传输到目的节点。尽管上述共享式环回缓存结构具有控制简单、资源利用率较高的优点，但这种缓存结构必须在内部设置N倍的加速带宽以处理多个分组同时到达一条队列的情况。缓存的 I/O 带宽会随着交换机端口数目的增加而增大，这会限制交换机的扩展规模。 为解决这一问题， 文献[34]提出了 DLB（Distributed Loopback Buffer，分布式环回缓存）结构和 MLB（Mixed Loopback Buffer，混合式环回缓存）结构。其中，DLB 是一种基于输入队列的分布式缓存结构，它使用 N 个分离的缓存单元实现 N条分离的缓存队列，每个队列对应存储一个特定输入端口的延迟分组。最简单的情况下，每条队列无须使用虚拟输出队列，仅配置一个发射器。但这会导致缓存控制器设计难度的增加，同时队头阻塞的问题不可避免。作者利用波长的并行性来缓解队头阻塞问题，通过在每条队列部署多个发射器，可以实现使用不同波长的多个分组并行向不同输出端口发送。另外前文所述的 SLB 仅占用 AWGR 的一个端口， 而DLB中每条缓存队列都需要占用AWGR的一个端口。 因此对于连接 N 个终端节点的分布式环回缓存架构， 需要使用 2N×2N 的 AWGR 分别连接终端节点和缓存队列。与 SLB 相比，DLB 能够实现更低的端到端传输时延，同时缓存的 I/O 带宽仅与输入端口的数据速率相关。但 DLB 需要占用更多的端口和发射机单元。为结合两种缓存结构的优势，作者进一步提出了 MLB 结构。MLB 仍需要占用多个 AWGR 端口以支持多条分离的队列，但与 DLB 不同的是：在 DLB 中每条回收缓存队列仅服务一个输入端口的延迟分组，在 MLB 中每条回收缓存队列服务 r 个输入端口的延迟分组。因此，若互连 N 个服务器节点， 混合式回收缓存队列需要占用 / N r 个端口。MLB 中每条队列同样使用多个发射器以缓解队头阻塞的问题。综合对比上述三种缓存结构，SLB 需要最高的缓存 I/O 带宽，但仅占用 AWGR 一个端口。DLB 需要最小的缓存 I/O 带宽，但需要更多的可调波长转换器。同时 AWGR需要使用 2N 个端口以分别连接 N 个终端节点和 N条回收队列。 MLB实现了SLB和DLB之间的权衡。文献[35]建立了 DOS 的硬件实验平台， 实验发现环回缓存的复杂结构会成为交换机扩展的主要限制因素。为解决这一问题，作者进一步提出了基于全光 NACK （ AO-NACK, all optical negativeacknowledgement）的交换架构 [35][36] 。该交换架构与基于共享环回缓存的 AWGR 架构基本相似，对于一个（N+1）×（N+1）AWGR，其中 N 个端口通过 TWC 连接至服务器节点，剩余一个端口用于处理竞争延迟的分组。与共享环回缓存架构的不同之处在于：①每个输入端口配置有两个光环形器用于 分 离 发 往 AWGR 的 分 组 和 反 向 传 输 的AO-NACK 分组；②处理竞争分组的端口被称为反射端口，该端口通过使用一个环形器实现所有输入信号的反向传输。 AO-NACK 架构中不存在电缓存。当发往同一输出端口的两个分组发生波长竞争时，控制层将调节 TWC 使其中一个分组正确发往目的端口，使另一个分组发往反射端口。反射端口所连接的光环形器会将分组反向发送至输入端口，连接在输入端口的光环形器进一步将分组反向发送至源服务器。当源服务器探测到该分组时，知道分组发送失败，因此会重新发送该分组。AO-NACK 架构能够并行处理所有输入端口的竞争分组，因此能获得与 DLB 相似的网络性能，同时避免了环回式缓存带来的成本和控制开销。由于基于AWGR和TWC的波长交换架构能够实现细粒度下的光分组交换，因此得到研究人员的广泛关注。

在解决分组竞争的问题上，除上述 DOS中提出的电环回缓存机制、AO-NACK 机制，还可以使用基于 FDL（Fiber delay lines，光纤延迟线）的光环回缓存机制。Rastegarfar 等人在文献[37]中提出了三种基于FDL 的光环回缓存结构。如图 7 所示，这三种光环回缓存结构分别被命名为 BM1，BM2，BM3。BM1使用一个 2N×2N 的 AWGR 作为核心交换单元， 其中N个端口作为交换端口实现输入光分组的直接转发， 其余 N 个端口作为环回端口实现竞争分组的缓存和二次转发。每个交换端口的输入位置连接有TWC 以实现分组的波长路由。在输出位置依次连接有 SOA、 TF （tunable filter， 可调滤波器） 、 TWC。其中 SOA 用于补偿光信号的传输损耗，TF 用于限制自发放大辐射噪声，TWC 用于调整输出分组的波长。每个环回端口的输出位置连接有长度为一个时隙的 FDL，在输入位置依次连接有 SOA、TF 和TWC。每个时隙，BM1 通过合理配置 TWC 可最多实现 N 个高优先级的分组到达交换端口的输出端，其余分组则需要丢弃或进入环回缓存。 BM1 的最大特点在于环回缓存的共享性，即任意输入分组可以进入任意的 FDL。在 BM1 中， 所有 FDL 仅提供一个时隙的延迟，同时也仅能存储一个分组， 若延长 FDL 的长度， 则可以存储更多的分组。因此 BM2 采用了与 BM1 类似的结构，唯一不同在于 BM2 中 N/2 个环回端口连接长度为一个时隙的 FDL，N/4 个环回端口连接长度为 2 个时隙的 FDL，N/8 个环回端口连接长度为 3 个时隙的 FDL，剩余 N/8 个环回端口连接长度为 4 个时隙的 FDL。在每个时隙，控制层将检查目的地址为同一输出端口的分组的优先级。若某个分组的优先级为 k，则交换架构中存在 k-1 个分组优先级高于该分组，因此该分组将被延迟 k 个时隙后发送。在 BM1 中该分组需要循环存储 k 次，而在BM2 中，该分组可以存储在长时隙 FDL 中以降低分组循环存储的次数。如图 7（b）所示的 BM3 使用两级 AWGR 构建。第一级为 2N×2N 的 AWGR，其中 N 个端口为交换端口，N 个端口为环回端口，第二级为 N×N 的 AWGR，所有端口全部为交换端口。第一级 AWGR 的每个交换端口在输入位置部署有 TWC， 在输出位置依次部署有 SOA、 TF、 TWC模块。第二级 AWGR 的输出端口同样依次部署SOA、TF、TWC 模块。与 BM1、BM2 不同，BM3中环回端口位置仅部署不同长度的 FDL， 不部署任何波长转换器件，因此在 BM3 中竞争分组只能在环回缓存中存储一次。同时从环回端口输出的分组无法实现基于波长的路由， 只能通过第二级 AWGR路由到指定的目的端口。 尽管基于 FDL 的光环回缓存能够有效避免光电转换器和电缓存的使用，从而降低能耗并实现信息的透明传输。但在实际部署中由于受到技术和成本的限制，交换机能够连接的FDL 数目有限。 这使光路由器不得不降低吞吐以避免分组的大量丢失。对此，H. Rastegarfar 等人进一步提出了基于 FDL 和 WDM 的共享环回缓存结构[38] 。

该结构同样采用 2N×2N 的 AWGR 作为核心交换单元， 其中 N 个端口为交换端口， 另外 N 个端口为环回端口。每个环回端口的输出位置连接长度为一 个 时 隙 的 FDL ， 随 后 依 次 连 接 EDFA（Erbium-doped Fiber Amplifier，掺铒光纤放大器）和 BM（Buffer module，缓存模块） ，最后连接到该端口的输入位置构成一条环路。每个交换端口的输入位置配置有 IM 模块（Input Module，输入模块）和 EDFA。 每个 IM 和 BM 依次由 1×2N 解复用器、TWC、2N×1 耦合器构成。在一个周期内，该架构可以在输入端口实现 2N 个分组的动态路由。由于在环回端口的输入位置使用了 BM 模块，在每个时隙，每条 FDL 内可最多存储 2N 个不同波长的光分组。另外每个时隙，竞争分组可以选择任意可用的环回缓存，这种方式有效提高了缓存的利用效率。为进一步提高交换机的吞吐，作者提出了负载均衡的调度策略。该策略可将具有相同目的端口的分组均匀缓存在不同 FDL 中， 这样在下个时隙， 这些竞争分组就可以并行地输出。仿真结果表明：基于WDM的共享FDL光路由器能够有效降低分组丢失率并能较好地适应多种流量模式。另外通过细化交换粒度， 可以有效提高 AWGR的并行交换能力，进而实现 all-to-all 流量模式下的无阻塞交换。

基于这种思想，P.N. Ji 等人提出了基于 OFDM （ Orthogonal  Frequency  DivisionMultiplexing，正交频分复用）的 AWGR 交换架构[39] 。该架构的交换核心使用 N×N 的 AWGR，每个AWGR 的端口连接一台机架， 机架内部署数十台服务器。机架内的通信通过 ToR 交换机完成，机架间的通信通过 AWGR 完成。服务器发往其他机架的分组首先在 ToR 交换机位置汇聚并发送至一个发射器， 该发射器所包含的 OFDM 模块会使用合适的子载波将汇聚信号调制成 k 路 OFDM 数据流， 其中k 是汇聚流量所发往的目的机架的数目。随后，这k 路 OFDM 数据流被转换为 k 路多波长信号，通过WDM 耦合器，所有信号耦合为一路 WDM 信号并被发送至 AWGR。根据 AWGR 的循环波长路由特性，不同波长的信号被发送到不同的目的机架。集中式 OFDM 子载波分配机制可以确保同一波长信道内的子载波不会相互冲突。在接收端，OFDM 信号解调为原始电分组并通过 ToR 交换机将分组发送到相应的目的服务器。由于提供了比波长更加精细的交换粒度，AWGR 位置不存在分组的竞争。同一波长信道内的分组对于子载波的竞争可以在源节点位置进行仲裁，因此整个 AWGR 架构未使用环回缓存，这在一定程度上降低了设备和控制的开销。尽管基于TWC和AWGR的光交换架构可以极大地简化拓扑结构设计，实现优于严格无阻塞交换的通信能力。但在实际部署中，AWGR 的端口数目却会受到下述条件的限制：①随着端口数目的增加， AWGR 波长信道的通带中心频率偏移会更加严重，这会给 TWC 的设计和控制带来极大的挑战；②光信号之间的串扰会随着 AWGR 规模的增大而增加。

为解决上述问题，研究人员提出了基于低基数 AWGR 模块的级联结构。Sato 等人提出的两级 AWGR 交换网络 [40] 如图8 所示。在该网络中，N 个 M×M 的 AWGR 模块构成前置交换级， M 个 N×N 的 AWGR 模块构成后置交换级。前置交换级中每个 AWGR 模块（称为前置 AWGR）的 M 个端口分别连接至后置交换级的每个 AWGR 模块（称为后置 AWGR） 。整个架构共提供 MN×MN 个交换端口。每个前置 AWGR 模块的输入端口配置有 TWC 单元。 根据路由计算， TWC可以将分组的波长调制到1 ~MN 范围内的特定波长输出。其中波长的序号将决定分组的输出端口。值得注意的是前置 AWGR 仅有 M 个端口，根据循环波长路由的规则，MN 个波长中有 N 个波长将被路由到每个前置 AWGR 的同一个输出端口，这些波长的序号依次间隔 M。经过后置 AWGR 模块后，上述间隔为 M 的波长组将分别被路由至不同的输出端口。因此从整体上看，前置 AWGR 模块每个输入端口的不同波长1 ~MN 将被路由至后置AWGR 的不同输出端口。 另外， 为保证前置 AWGR同一输出端口的波长组  2, ,i i M i M   在经过后置AWGR 后被彻底分离，M 和 N 的取值为互质数。上述两级 AWGR 交换网络完全实现了单一 AWGR的波长路由功能，但与单一 AWGR 相比具有以下两点优势：①由于架构使用了小端口 AWGR 模块，因此减小了波长偏移效应；②这种两级式交换架构可以采用渐进的扩展方式构建，因此降低了网络成本开销。Chao 等人则提出了基于 AWGR 的三级交换网络 Petabit [41][42] 。

如图 9 所示，该网络由 IM（InputModule）模块、CM（Central Module）模块、OM（Output Module）模块互连成 Clos 拓扑。每个模块使用 AWGR 作为核心交换单元。 CM 模块和 OM模块的输入端口位置配置有 TWC 进行路由的控制，由于线卡的发射器已经包含可调激光器，因此连接线卡的 IM 模块不需要在输入端口配置 TWC单元。相对基于单一 AWGR 的交换架构，Petabit需采用更加复杂的配置过程来建立输入端口到输出端口的光路径。具体包括：①IM 模块需要根据分组选择的 CM 模块确定输出端口，并进一步确定线卡输出端口的 TWC 配置；②CM 模块需要根据分组目的端口所在的 OM 模块确定输出端口，并进一步确定本模块输入端口的 TWC 配置；③OM 模块需根据分组的目的端口确定本模块输入端口的TWC 配置。Petabit 在响应多个分组请求配置光路径的过程中，在 CM 模块和输出端口位置都会产生竞争，对此 Petabit 设计了一套电域的仲裁机制解决该竞争问题。每个 IM 模块、CM 模块和 OM 模块分别对应于一个电域的调度模块，这些调度模块可相应地被称为 SIM（Scheduler at IM）模块、SCM（Scheduler at CM） 模块和 SOM （Scheduler at OM）模块。 这些调度模块同样互连成 Clos 拓扑结构。 分组到达线卡后首先被存储在虚拟输出队列中，随后每个 IM 模块的输入端口选择 H 个非空的虚拟输出队列，并将这些队列的传输请求发送给对应的 SIM模块。SIM 模块使用 H 个周期处理这 H 个请求，在第 i 个周期，SIM 模块将第 i 个请求发送到随机选择的 SCM 模块。若 SCM 收到多个到达相同 OM模块的请求，则采用轮询的方式选择一个请求并发送到相应的SOM模块。 当SOM模块接收到请求后，若请求的目的输出端口在前（i-1）个周期内没有做出响应，则 SOM 采用轮询的方式响应首个请求，否则 SOM 模块不做出响应。最后，SIM 模块在收到某个输入端口的响应后，在后面的 ( ) H i  个周期内不会处理该端口的请求。

使用上述的调度机制，分组在光域的传输过程中不存在任何竞争，因此架构避免了对电环回缓存和 FDL 的使用， 这在一定程度上降低了单一光交换模块的能耗和设计复杂度。由于采用了低基数 AWGR 模块，上述两级和三级 AWGR 交换网络能够有效克服信号串扰和带宽偏移等物理层限制，因此能够扩展至数千节点规模。但若继续增大网络规模至数万节点以上，上述架构所需的波长资源和收发器的数量将成为严重的限制。 对此， Yoo 等人提出了基于 AWGR 的分层网络 [43] 。该架构如图 10 所示，其最底层的基本单元被称为 picoBlade （pB） 。 pB 模块包括一个嵌入式电交叉开关和多个 TRX（transmit receive unit，收发信机） 。电交叉开关负责执行分组的路由功能并根据分组的目的地址选择合适的 TRX 发送该分组。p 个 pB 模块构成一个 microBlade（uB） ，m 个 uB模块进一步构成一个 miniBlade（mB） 。在同一 mB内，每个 pB 模块使用 p 个 TRX 完成同一 uB 内不同 pB 模块之间的通信， 使用 u 个 TRX 完成不同 uB中 pB 模块之间的通信。 每个 uB 模块部署一个无源( ) ( ) p u p u    的 AWGR，其中 p 个端口连接该 uB内所有 pB 模块， 其余 u 个端口连接其它 uB 模块的AWGR 形成 uB 模块之间的通信连接。另外，每个uB 模块存在一个中继 pB 模块。该模块包括一个TRX 用于 mB 之间的通信， 由于每个 mB 包括 m 个uB 模块，因此每个 mB 共包括 m 个 TRX 可用于连接其它 mB 模块。为实现大规模 mB 模块之间的互连，作者提出了一种扁平分布式全光互连架构Thin-CLOS 拓扑， m W  个 miniblade 模块被分成 m个分离的小组。每个小组内部署有 m 个有源W W  AWGR 交换机，本组内 mB 模块的输出端口和交换机输入端口之间形成完全二分图，而本组交换机的 m W  个输出端口依次连接所有 mB 模块的一个输入端口。与其他基于 AWGR 的交换网络相比较，该分级架构不仅具有更高的扩展性，可支持100,000 节点以上的网络规模，同时具有较低的网络直径和较高的对分带宽。因此在均匀流量下该架构能够保证低时延传输，同时其饱和点可达到节点最大输出带宽的 70%。除利用 AWGR 外，还可以使用其它的光交换元件如半导体光放大器（SOA）或微环谐振器构建全光交换网络。其中，SOA 是一种基于硅介质的PN 结，光信号注入 SOA 后，在不同的外加电压下信号将获得增益或者产生损耗，由此实现光开关的“开”状态和“关”状态。H. Wang 等人提出了基于 SOA 的光交换网络 [44] 。利用 SOA 本身所具备的双向透明传输特性，作者仅使用 6 个 SOA 单元设计了双向 2×2 光交叉开关（即传统的 4×4 光交叉开关） 。

如图 11 所示，该交叉开关采用广播-选择式空分交换结构。 在输入端口位置上， 光信号经过 1:3分离器分割为三路信号并分别发往其他 3 个端口。部署在三条传输路径上的 SOA 根据配置对信号进行放大或衰减。在传统 4×4 光交叉开关中，每个输入端口都需要通过 SOA 连接到其他三个输出端口。而双向 2×2 光交叉开关允许两个输入端口共享同一个 SOA 单元，即若端口 0 的输入信号通过SOA 传输到端口 1，端口 1 的输入信号同样可通过该 SOA 传输到端口 0。这种方式极大减小了 SOA的使用数量，进而在交叉开关的成本、能耗、面积等方面获得了改进。利用该交叉开关单元，可以进一步构建 fat tree 等树形网络以实现大规模节点的互连。微环谐振器是另外一种可实现快速空分交换的硅光器件。该器件是一个由波导制作的环形谐振腔，其材料和直径将决定微环本身的谐振波长，通过注入载流子也可改变该微环的谐振波长。微环部署在两根波导的交叉点位置。若信号波长与微环的谐振波长相同，则信号首先耦合进微环，随后耦合到另外一根波导。若信号的波长与微环的谐振波长不同，则信号沿着原来的波导传输。由于微环谐振器能够良好地兼容 CMOS 平台，因此能够在制作、成本、面积等方面取得良好的特性。基于微环谐振器的 N×N 光交叉开关由 2N 根波导和 N 2 个微环谐振器组成。N 根输入波导和 N 根输出波导交叉布局形成 N×N 网格，微环部署在输入波导和输出波导的交叉点位置实现信号的耦合转向。基于单晶硅制作的微环谐振器光交叉开关具备良好的光电特性。但由于单晶硅无法实现多层沉积，所有的波导和微环必须部署在同一平面内，波导之间的交叉不可避免，这会带来较大的插入损耗。

对此，Biberman 等人提出了基于微环的多层沉积光交叉开关结构 [45] 。在该结构中，输入波导和输出波导使用氮化硅材料构建并部署在最顶层和最底层，微环谐振器使用多晶硅材料构建并部署在中间层。由于上下两层波导之间没有交叉，该多层沉积光交叉开关有效降低了插入损耗。利用该光交叉开关模块，作者进一步构建了集中式数据中心光互连网络。该网络使用多个机架构成一个簇结构，每个簇使用 WDM 技术汇聚簇间通信的流量，随后这些流量通过部署在顶层的N×N 光交叉开关模块完成传输和交换。随着云计算的发展，多种具有不同流量特性的新应用开始在数据中心内部署，灵活性成为网络设计的一个重要因素。未来的数据中心网络应该能够满足每种应用所要求的服务质量，同时能够有效的利用资源并降低能耗。混合全光互连网络针对不同的业务流量采用不同光交换机制，因此能够同时满足数据密集型业务对网络带宽的需求和突发性业务对传输时延的需求。H. wang 等人提出了基于SOA 的 4×4 光分组/光电路混合交换节点 [46] 。 如图12 所示， 该交换节点使用 16 个 SOA 单元构成广播-选择式门阵列。 这 16 个 SOA 被分成 4 个子集， 每个子集对应于一个输入端口，每个子集内的 SOA分别部署在该输入端口到其他输出端口的线路上。该 4×4 交换节点中，每对输入到输出的连接都可以灵活配置为光电路交换模式或光分组交换模式。若输入端口配置为光分组交换模式，部署在该输入端口的滤波器和光电探测器将提取每个分组的头信息进行路由计算和交叉开关配置。但若输入端口配置为电路交换模式，该端口将忽略后续分组的头部信息，并在一定时长内维持 SOA 的配置状态。另外，该交换节点采用丢弃分组的方式处理输出端口的竞争问题。Fiorani 等人提出了一种结合光电路交换、 光突发交换和光分组交换的混合交换网络 HOS [47] 。

该网络使用如图 13 所示的 3 层树形拓扑。底层的每个机架内部署 N s 台刀片式服务器，每台服务器通过1Gbps 链路连接至 ToR 交换机。 多台 ToR 交换机通过 40Gbps 链路连接至汇聚层的 HOS 边缘交换机，最后所有 HOS 边缘交换机通过 WDM 光纤连接至顶层的一个核心交换机。该核心交换机可以在逻辑上划分为三个模块：控制模块、交换模块和其它有源模块。控制模块负责处理控制信息并控制数据的传 输 。 该 模 块 具 体 包 括 三 个 单 元 ： GMPLS（Generalized Multiprotocol Label Switching，通用多协议标记交换）控制单元、HOS 控制单元和交叉开关控制单元。其中，GMPLS 控制单元用于实现WAN 内与其他 HOS 核心节点的交互。 HOS 控制单元用于管理光电路、光突发及光分组的传输。交叉开关控制单元负责在光交叉开关中建立端到端的光路径。交换模块包括两种全光交叉开关：慢速交叉开关用于实现光电路交换并负责传输长光突发块，快速交叉开关用于传输短突发块和光分组。快速光交叉开关使用 SOA 构建，慢速光交叉开关使用 3D-MEMS 构建。其他有源模块包括光放大器、可调波长转换器、控制信息提取器等。HOS 的边缘交换机主要用于实现流量的分类和汇聚等。 HOS 能够根据应用的流量特点选择最合适的光传输机制，从而保证了网络的灵活性和较高的带宽利用效率。但在核心层采用单一的交换节点可能会带来网络可靠性的问题，在文章中作者尚未提出该问题的解决方案。

3.2.2 分布式全光互连网络架构尽管上述全光互连架构基于不同的光器件和不同光交换机制设计，但所有方案都使用单一的核心光交换机直接互连所有机架或簇结构。这种互连方式的优势在于能够极大的简化网络管理和路由控制，符合目前工业界所提倡的扁平化网络设计思想。但其劣势在于网络扩展性有限、核心光交换机内部结构设计复杂、网络可靠性较差等。对此，一些研究人员提出了分布式全光互连网络架构。Gumaste等人提出的FISSION是一种基于多波长光总线的可扩展架构 [48][49] 。如图 14 所示，该架构在核心层使用光环形链路互连多个载波以太网交换域，每个交换域被称为一个扇区。每个扇区包括 ROADM （ reconfigurable optical add-dropmultiplexer，可重构光分插复用器） 、汇聚交换机和边缘交换机等设备。 边缘交换机到 ROADM 的单向链路用于发送本扇区到其他扇区的流量，而ROADM 到汇聚交换机的单向链路用于接收其他扇区到本扇区的流量。扇区内通信由边缘交换机和汇聚交换机完成， 服务器和存储设备连接到 N×2N 的边缘交换机，边缘交换机进一步通过汇聚交换机相互连接。对于扇区间的通信，在发送侧每个扇区通过 ROADM 和耦合器连接到一个特定的光纤环路上，在接收侧每个扇区可通过耦合器接收所有光纤环路的信号。每个扇区被分配固定数目的波长用于发送扇区间流量，这些流量通过边缘交换机到达电-光交换机，在电-光交换机内转换成指定波长的光信号，随后通过复用器复用成一路 WDM 信号并通过耦合器发送到光纤环路。作者进一步使用改进的载波以太网协议实现 FISSION 架构内的通信， 该协议将整个网络转换为一系列二元树并为网络内的每个节点分配唯一的二元标签。 这样 FISSION 内的服务器可以利用这些标签实现源路由算法。Hamedazimi 等人提出了一种基于自由空间光技术的可重配置网络 FireFly [50][51] 。通过利用 FSO技术（free space optical technology，自由空间光技术） ，FireFly 可以避免使用集中式光交换架构处理机架间流量。所有机架间的通信链路可以根据流量需求实现灵活的配置。如图 15 所示，该网络使用传统电分组交换实现机架内通信， 使用 FSO 链路实现机架间的灵活通信。每台机架的顶部配置有一系列可调 FSO 设备。为确保 FSO 发射器所发出的光束不会相互阻挡， FireFly 在机架顶部的天花板部署了反射镜面 （Ceiling Mirror） 。 机架间通信的光信号首先从源机架发射至天花板镜面，经过反射后到达目的机架的接收端。为节省能耗和成本，在发送侧光信号直接从光纤输出到自由空间，在接收侧光信号同样采用直接耦合的方式进入输入光纤。输出端和输入端不部署任何光电转换器。 FireFly 在光纤的焦距位置上部署了透镜以解决光束从光纤进入自由空间时的散射效应，在接收光纤的焦距上同样部署有透镜以实现信号的耦合。

 为实现 FSO 链路的可重配置，架构使用了两种设备：SM（Switchable Mirror，可调镜面）和 Galvo 镜面。其中，SM 是一种特殊的液晶材料，能够在电信号的控制下在反射和透射两种状态转换。该元件采用如下方式动态配置 FSO 链路：每个 FSO 输出光纤配置有多个 SM模块，每个 SM 在预配置阶段提前对准天花板镜面的一个目标反射点，该反射点进一步对准一台机架的 FSO 接收器。在工作阶段，一个 SM 被设置为反射状态而其他 SM 被设置为透射状态，这样即可建立从源机架到特定目的机架的 FSO 链路。改变 SM模块组的状态即可建立到不同目的机架的 FSO 链路。Galvo 镜面可以在电信号的控制下绕固定轴转动，因此经过 Galvo 镜面和天花板镜面反射的光信号可以到达一个锥形区域。通过配置 Galvo 镜面的角度，光束可以到达预定接收区域的任意一台机架。 除构建上述可重配置 FSO 链路外， 还需要在控制层设计算法实现网络拓扑的优化配置。 在 FireFly中，网络的配置包括两个阶段：在预配置阶段网络需要设置每个FSO可调镜面的反射点或Galvo镜面的覆盖区域，以形成多条备选网络链路；在实际运行阶段网络需要实时调整工作的 FSO 链路以满足当前的流量需求。除上述两种典型的分布式光互连网络外，研究人员还提出了其他分布式光互连网络。Karthi 等人提出了 POST 网络架构 [52] 。该网络使用传统的多层树形拓扑。 但与传统电互连网络不同的是： 在 POST中每层的多个节点（服务器或交换机节点）构成一个簇结构，簇内的所有节点直接通过一个 POR（Passive Optical Router， 无源光路由器） 进行通信。簇间的通信通过上层的交换设备完成。POST 的主要网络设备包括两种： POR 和 ICS （Inter ConnectionSwitch，互连交换机） 。

每个连接至 POR 的节点配置有一定数量的线卡，所有线卡通过电交换机进一步连接到一张 PIC（Photonic Integrated Circuit，光集成电路板卡） 。该电交换机负责将有通信需求的线卡接入 PIC 上的激光器阵列进行调制，不同波长的光信号进一步通过 N 端口 AWGR 实现交换。在输出端，光信号通过 PIC 板卡上的光电探测器转换为电信号并进一步通过电交换机转发到目的节点的线卡。每层簇内的节点除连接到 POR 外，还连接到上层的 ICS。该 ICS 负责处理簇间输入流量和输出流量，同时负责控制簇内节点之间的通信。因此，在 POST 网络的最底层（L0 层） ，N 台服务器构成一个簇。簇内所有服务器连接至一台 POR，同时所有服务器连接到上层（L1 层）的一个 ICS。在L1 层，N 个 ICS 通过一台 POR 互连，同时这 N 个ICS 进一步连接到 L2 层的一个 ICS。 这种互连方式逐级向上延续，直到根节点位置。这种互连方式一方面保证了簇内节点的低时延、高带宽通信，另一方面有效增强了网络的可扩展性。Zhang 等人提出了 OpenScale 网络架构 [53] 。该架构将“小世界”理论引入方案设计以充分实现应用对于数据中心网络高带宽、低时延、低平均距离的要求。小世界网络能够通过在规则的网格拓扑中增加随机链路实现。因此，作者首先使用 OBS（Optical BurstSwitching，光突发交换）环路构建基本的多边形网格拓扑，进一步使用波长交换技术随机地为远距离节点提供直连路径。为同时实现光突发交换和波长交换的功能，每个 OToR（Optical Top of Rack）交换机同时配置波长交换模块和光突发交换模块。输入信号首先通过 WSS 分离为两组，一组波长信号被传输至波长交换模块，另外一组波长信号被传输至光突发交换模块。

其中，光突发交换模块采用简单的广播-选择式结构。进入该模块的光信号通过1:2 耦合器复制为两路信号，一路信号发送至本地OToR 收发器阵列，另外一路信号发送至下一跳节点，该路信号在到达输出端口前会通过可调光衰减器（VOA, variable optical attenuator）以滤除信号中的无用信息。波长交换模块将根据集中式控制器的命令配置交叉开关的输入输出端口，多个节点的波长交换模块通过协调配置即可形成端到端通信路径。由于相邻节点之间可通过 OBS 环路实现快速灵活的光交换，远距离节点之间可通过波长交换形成直连路径。因此 OpenScale 网络有效地实现了网络扩展性和网络直径之间的权衡。 S. Saha 等人提出了 基 于 递 归 定 义 的 光互 连 网 络 HyScale [54] 和HyScaleII [55] 。这两种网络均使用 OToR 交换机作为基本交换设备。每台 OToR 交换机配置有光交叉连接开关以连接机架内服务器和其他机架，该光交叉连接开关同时支持光电路交换和光突发交换。其中，光电路交换用于传输象流，光突发交换用于传输鼠流。 HyScale 使用了基于递归定义的拓扑结构，该拓扑可以表示为 ( , , ) k    。其中，参数 k 为拓扑的级数，  为拓扑  内子拓扑的数目，  定义了  内所有节点的地址空间。在拓扑  中每个节点使用一个 ( 1) k  元数组表示，同时 (k, , )    通过互连  个( 1, , ) k     构成。 (0, , )    为构建拓扑  的基本单元，该基本单元使用  个机架互连成完全二分图。随后 ( , , ) k    使用  个下一级子拓扑 ( 1, , ) 构建。若拓扑  内节点1 0,k kI i i i 和1 0,k kJ j j j满足条件：1 2 0( ) , ( )k k kF i j F i i   或3 0 0 0( )kF i i and i j     ， 则节点 I 与节点 J 通过第 k 级链路互连。 其中， 函数 F 1 ，F 2 ，F 3 分别定义如下： 1 ( )(2 1 )mod ,z 0,1 / 2 1 F i z i       2 ( )( mod / 2)mod , satisfies1 k kF i z i z F (i ) j       3 ( )( / 2)mod2F i F (i)   HyScaleII 同样使用递归的方式构建， 该拓扑可以使用 ( , , ) k    表示。 其中 (0, , )    与 (0, , )    的结构相同。  个子拓扑 ( 1, , ) k     使用第 k 级链路互连构成 ( , , ) k    。 ( , , ) k    中的每个节点的地址空 间 定 义 为 一 个 k+1 元 数 组 ：     0= | 0,1, , 1 , 0,k li i i l k         。若节点0 kI i i  与0 kJ j j  满足条件：k 0 k 0 0F(i ,i )= j , and i = j ，则节点 I与节点 J 通过第 k 级链路互连。其中，函数 F 的定义如下：0( )x yif yF x,yx otherwise     HyScale 以及 HyScaleII 具有类似于 BCube、DCell、FiConn [56] 等网络拓扑的高扩展性、低网络直径、高对分带宽以及高容错性。HyScaleII 与HyScale 相比，HyScaleII 具有更低的分组丢失率和更高的网络吞吐。

3.3 光互连架构的综合比较

表3综合对比了近年来研究人员所提出的数据中心光互连网络架构。就网络架构类型而言，目前的设计方案主要包括光电混合互连网络和全光互连网络。其中，光电混合互连网络在传统电互连网络架构的基础上额外增加了光互连网络，因此这些架构对传统数据中心网络具有较强的兼容性。但光电混合互连网络无法在设备开销、能耗、网络管理等方面做出显著改进，因此研究全光互连网络架构成为主要的趋势。表 2 使用实例对比了光电混合网络Helios 和全光网络 Proteus 的开销、能耗和成本。从该表格可以看出，与光电混合互连网络相比，全光网络能够提供更高的带宽并有效降低网络的设备开销和能耗。但由于全光互连网络的技术革新性更强，需要替换所有传统电交换设备以实现网络的部署。因此全光互连网络在设计中需要权衡更多的因素，如扩展性、可升级性、设备开销、技术可行性等。表 2 Helios 和 Proteus 的能耗、成本、开销对比实例架构名称  Helios  Proteus服务器数目  65536  65536收发器数目  98304  65536交换机端口数目  36864  8192光纤数目  36864  8192成本（$）  39936000  17612800能耗（W）  508887.04  67502.08* 本表格采用文献[14]所提供的模型及基本数据进行计算就网络的扩展性而言，由于目前商用全光交换机的最大规模在数百端口 [58] ， AWGR 模块的端口数目也会受到信号串扰、波长漂移等因素的限制 [59] ，因此在实际部署中，集中式交换架构的扩展规模十分有限。为解决该问题，研究人员需要设计定制的交换机结构，即使用 Clos [41] 、Benes [60] 、Spank [61]等多级拓扑进一步将单一光交换模块互连成大规模多级光交换矩阵，但这会在一定程度上增加网络的成本。分布式光交换网络可提供更加灵活的扩展方式，同时可支持的网络规模也远大于集中式架构，但分布式光交换网络需要复杂的通信协议实现交换机之间的协调。可升级性也是数据中心网络架构设计考虑的重要因素之一，它主要是指随着链路速率和服务器接口速率的提升。

单一的交换节点是否能够快速升级以支持更高的交换容量。在现有的设计方案中，基于 MEMS 光电路交换和基于自由空间光交换的网络，如 Helios、C-through、Proteus、FireFly 等，其核心光交换单元对于信号的速率完全透明。这类网络中单一交换节点的交换容量仅取决于交换机的端口数目，因此最易实现网络交换容量的升级。基于广播-选择式光突发网络， 如基于光突发环的混合网络、FISSION 等，由于网络中并不存在实质的光交换单元，因此这类网络也对信号速率透明。基于 AWGR 的网络架构中，波长转换器所支持的数据速率将限制波长信道的传输带宽。最后，在基于SOA 和微环谐振器的网络架构中，SOA 单元和微环谐振器所支持的数据传输速率将决定网络支持的最大数据传输速率。各网络架构的技术研究进展在一定程度上反映了该设计方案能否快速部署到实际应用之中。相对而言，基于 MEMS 的网络架构直接使用商用交换机构建，因此易于实现和部署。基于 AWGR 和SOA 的光交换网络大多处于实验原型阶段， 尽管这些架构已经具备技术可行性，但由于成本过高，因此该类光器件仍然会限制网络的实际部署。基于微环谐振器的网络架构和复杂的分布式光互连架构尚处理软件仿真阶段，这些网络架构需要经历更长的时间才能实现实际的应用和部署。网络的设备开销将关系到网络的构建成本和管理复杂度。集中式光互连架构能够有效降低网络所需的设备数量并简化控制管理。但如前所述，该类架构的扩展规模受到较大限制。分布式光互连架构所需的网络设备较多，同时需要设计更复杂的通信协议，但分布式架构支持更灵活的扩展模式，同时能够避免对于定制设备的使用。

4 研究趋势

与电互连技术相比，研究人员对数据中心光互连网络的研究尚处于起步阶段。这主要体现在：①多数光互连方案仅处于原型验证或软件仿真阶段，这些方案缺乏低成本、成熟的商用光器件支持部署；②光互连低成本、低能耗、高带宽的优势尚未充分体现； ③工业界主要通信设备提供商， 如思科、中兴、华为、Juniper 等，尚未就数据中心光互连网络推出相关产品设备。国际标准化组织如 IEEE、IETF、ITU-T 等也尚未提出与数据中心光互连相关的技术标准或建议。因此，数据中心光互连技术还需要进行更加广泛深入的研究，未来的研究方向将主要集中于以下几个方面：⑴新型光交换机结构的研究光交换节点的性能会直接影响网络拓扑、交换机制和通信策略的设计。目前商用 MEMS 全光交换机的配置时延过长 （数十毫秒） ， 因此基于 MEMS的光互连架构难以实现细粒度的信息交换，网络灵活性和链路利用率受到严重限制。 AWGR 需要在每个输入端口配置 TWC 以实现分组的正确路由，这些有源器件会增大光交换网络的能耗。另外，基于光纤延迟线的缓存结构无法实现光分组的灵活存取，缓存的容量也十分有限。现存光交换机的上述缺点会导致光互连架构设计中存在各种限制，也导致目前光网络无法获得与电网络相似的灵活性和信息交换粒度。因此，未来对于新型光交换机的研究会成为重点，低能耗、低成本、细粒度、快速配置的光交换机结构会极大改善光互连网络的性能。⑵分布式光互连网络的研究目前数据中心光互连网络多采用集中式架构，这些方案在网络的扩展性、可靠性、技术可行性等方面存在较大的挑战。分布式光互连网络具有更灵活的扩展模式，同时能够避免对定制光交换设备的使用。但目前研究领域对于分布式光互连网络的研究较少，因此未来在数据中心分布式光互连网络设计方面仍存在较大的研究空间。研究人员需要解决的问题包括：网络拓扑的设计、通信协议的设计、控制系统的设计等。⑶与云计算特定应用相结合或与新技术相结合的光互连网络架构设计目前的光互连架构设计主要关注网络性能、扩展性、成本等基本因素，结合云环境或特定应用要求的光互连网络架构研究较少。例如，虚拟化是云计算的主要特征 [62] ，随着服务器虚拟化、存储虚拟化技术的发展，网络虚拟化技术备受关注 [63] 。另外由于云计算数据中心面向全球用户提供不间断服务，可靠性成为网络设计的重要要求。最后，云计算数据中心是一个典型的多租户环境，不同应用的通信模式、流量特征和 QoS 要求互不相同，网络的流量调度策略和交换传输策略应该充分考虑不同应用的要求。因此，基于光互连网络架构的虚拟化技术、可靠性保障技术和改进型传输协议都值得进行深入研究。 SDN 技术近年来受到工业界和学术界的极大关注 [64] ，它为网络运营者和研究人员提供了一个开放性平台，可使创新性技术和协议实现快速的应用部署。将 SDN 技术应用于数据中心光互连成为一个新的研究课题，对此，北京邮电大学就这一课题展开了研究 [65] ，可以预期这一方向将产生更多的研究成果。

5 总结

云计算将带来数据中心内应用、网络、计算、存储的全面融合。随着 Hadoop，MapReduce 等分布式计算模式的部署，服务器之间的任务协作增加，网络成为决定云计算性能的关键因素之一。与电互连技术相比，光互连技术在能耗、带宽、传输透明性等方面占有较大的优势。尤其随着链路带宽的提升，光纤成为数据中心的主要传输媒质，全光互连架构将进一步降低网络的传输时延和能耗。因此，数据中心光互连架构受到广泛关注，已获得的研究成果表明，数据中心光互连技术具有较大的潜力解决云计算网络所面临的一系列问题。尽管该领域仍存在一系列待解决的问题，但可以预期，随着光器件的成熟和研究的深入，低成本、低能耗、高带宽、低时延的数据中心光互连架构将有力推动云计算技术的发展。

    参 考 文 献[1]. Zhang Q, Cheng L, Boutaba R. Cloud computing: State-of-the-artand research challenges. Journal of internet services andapplications, 2010, 1(1): 7-18.[2].  Zhang Y, Ansari N. On architecture design, congestion notification,TCP incast and power consumption in data centers. IEEECommunications Surveys & Tutorials, 2013, 15(1): 39-64.[3].  Li Dan, Chen Guihai, Ren Fengyuan, Jiang ChangLin, XuMingwei. Data center network research progress and trends.Chinese Journal of Computers, 2014, 37(2):001 (in Chinese)(李丹，陈贵海，任丰原，等. 数据中心网络的研究进展与趋势.计算机学报, 2014, 37(2): 001)[4]. Al-Fares M, Loukissas A, Vahdat A. A scalable, commodity datacenter network architecture//Proceedings of the Special InterestGroup on Data Communication (SIGSOMM). Seattle, USA, 2008:63-74[5].  Greenberg A, Hamilton J R, Jain N, et al. VL2: A scalable andflexible data center network//Proceedings of the Special InterestGroup on Data Communication (SIGSOMM). Barcelona, Spain,2009:95-104[6]. Guo C, Wu H, Tan K, et al. Dcell: A scalable and fault-tolerantnetwork structure for data centers// Proceedings of the SpecialInterest Group on Data Communication (SIGSOMM). Seattle, USA,2008: 75-86[7].  Guo C, Lu G, Li D, et al. BCube: a high performance,server-centric  network  architecture  for  modular  datacenters//Proceedings of the Special Interest Group on DataCommunication (SIGSOMM). Barcelona, Spain, 2009:63-74[8].  Abu-Libdeh H, Costa P, Rowstron A, et al. Symbiotic routing infuture data centers// Proceedings of the Special Interest Group onData Communication (SIGSOMM). New Delhi, India, 2010:51-62[9].  Liu Xiaoqian, Yang Shoubao, Guo LiangMin, Wang ShuLing,Song Hu. Snowflake: A new-type network structure of data center.Chinese Journal of Computers, 2011, 34(1):76-86 (in Chinese)（刘晓茜, 杨寿保, 郭良敏, 等. 雪花结构: 一种新型数据中心网络结构. 计算机学报, 2011, 34(1): 76-86）[10]. Glesk I, Buis A, Davidson A. How photonic networking can helpdata centers//Proceedings of the 16th International Conference onTransparent Optical Networks (ICTON). Graz, Austria, 2014:1-4[11]. Guo B., Shen Y., Shao Z.. The redefinition and some discussion ofgreen computing. Chinese Journal of Computers, 2009,32(12):2311-2319 (in Chinese)（郭兵，沈艳，邵子立. 绿色计算的重定义与若干讨论. 计算机学报，2009,32(12):2311-2319）[12]. Baliga J, Ayre R W A, Hinton K, et al. Green cloud computing:Balancing  energy  in  processing,  storage,  and  transport.Proceedings of the IEEE, 2011, 99(1): 149-167.[13]. Bilal K, Malik S U R, Khalid O, et al. A taxonomy and survey ongreen data center networks. Future Generation Computer Systems,2014, 36:189-208[14]. Farrington N, Porter G, Radhakrishnan S, et al. Helios: A hybridelectrical/optical  switch  architecture  for  modular  datacenters//Proceedings of the Special Interest Group on DataCommunication (SIGSOMM). New Delhi, India, 2010:339-350[15]. Binkert N, Davis A, Jouppi N P, et al. The role of optics in futurehigh radix switch design//Proceedings of the 38th AnnualInternational Symposium on Computer Architecture (ISCA). SanJose, CA, USA, 2011:437-447[16]. Kachris C, Tomkos I. A survey on optical interconnects for datacenters. IEEE Communications Surveys & Tutorials, 2012,14(4):1021-1036[17]. Kliazovich D, Bouvry P, Khan S. DENS: Data centerenergy-efficient network-aware scheduling. Cluster Computing,2013, 16(1):65-75[18]. Lam C F. Optical network technologies for datacenter networks(invited paper)//Proceedings of the Optical Fiber CommunicationConference collocated National Fiber Optic Engineers Conference(OFC/NFOEC). San Diego, CA, USA, 2010:1-3[19]. Zhao X, Vusirikala V, Koley B, et al. The prospect of inter-data-center  optical  networks.  IEEE  CommunicationsMagazine, 2013, 51(9):32-38[20]. Hong L, Lam C F,Johnson C. Scaling optical interconnects indatacenter  networks  opportunities  and  challenges  forWDM//Proceedings of the IEEE 18th Annual Symposium on HighPerformance  Interconnects  (HOTI).  Mountain  View,USA,2010:113-116[21]. Wang G, Andersen D G, Kaminsky M, et al. c-Through: Part-timeoptics in data centers//Proceedings of the Special Interest Group onData  Communication  (SIGSOMM).  New  Delhi,  India,2010:327-338[22]. Lugones  D,  Katrinis  K,  Collier  M.  A  reconfigurableoptical/electrical interconnect architecture for large-scale clustersand datacenters//Proceedings of the 9th conference on ComputingFrontiers. Cagliari, Italy, 2012:13-22[23]. Li C Y, Deng N, Li M, et al. Performance analysis andexperimental demonstration of a novel network architecture usingoptical burst rings for interpod communications in data centers.IEEE Journal of Selected Topics in Quantum Electronics, 2013,19(2):3700508[24]. Wang G, Andersen D G, Kaminsky M, et al. Your data center is arouter: The case for reconfigurable optical circuit switchedpaths//Proceedings of the ACM Workshop on Hot Topics inNetworks (Hotnets). New York ,USA, 2009[25]. Bazzaz H H, Tewari M, Wang G, et al. Switching the opticaldivide: fundamental challenges for hybrid electrical/opticaldatacenter networks//Proceedings of the 2nd ACM Symposium onCloud Computing. Cascais, Portugal, 2011:1-8[26]. Vahdat A, Liu H, Zhao X, et al. The emerging optical datacenter//Proceedings of Optical Fiber Communication Conference.Los Angeles, USA, 2011:OTuH2[27]. Farrington N, Fainman Y, Liu H, et al. Hardware requirements foroptical circuit switched data center networks//Proceedings of theOptical fiber Communication Conference and Exposition and theNational Fiber Optic Engineers Conference (OFC/NFOEC’11).Los Angeles,USA, 2011[28]. Deng N, Xue Q, Li M, et al. An optical multi-ring burst networkfor a data center//Proceedings of the Optical Fiber CommunicationConference and Exposition and the National Fiber Optic EngineersConference (OFC/NFOEC). Anaheim, USA, 2013:1-3[29]. Tekin T, Pleros N,Apostolopoulos D. Photonic interconnects fordata centers//Proceedings of the Optical Fiber CommunicationsConference and Exhibition (OFC). San Francisco, USA, 2014:1-3[30]. Singla A, Singh A, Ramachandran K, et al. Proteus: a topology malleable data center network//Proceedings of the 9th ACMSIGCOMM Workshop on Hot Topics in Networks. Monterey,California, USA, 2010:1-6[31]. Chen K, Singla A, Singh A, et al. OSA: An optical switchingarchitecture for data center networks with unprecedentedflexibility. IEEE/ACM Transactions on Networking, 2014,22(2):498-511[32]. Xu L., Singh A, Zhang X.. Optically interconnected data centernetworks//Proceedings of the Optical Fiber CommunicationConference and Exposition and the National Fiber Optic EngineersConference (OFC/NFOEC). Los Angeles, CA, USA, 2012:1-3[33]. Yoo S J B, Yin Y., Wen K.. Intra and inter datacenter networking:The role of optical packet switching and flexible bandwidth opticalnetworking//Proceedings of the 16th International Conference onOptical Network Design and Modeling (ONDM). Colchester, UK,2012:1-6[34]. Ye X, Proietti R, Yin Y, et al. Buffering and flow control in opticalswitches for high performance computing. IEEE/OSA Journal ofOptical Communications and Networking, 2011, 3(8): A59-A72[35]. Yin Y., Proietti R, Ye X., et al. LIONS: An AWGR-basedlow-latency optical switch for high-performance computing anddata centers. IEEE Journal of Selected Topics in QuantumElectronics, 2013, 19(2):3600409-3600409[36]. Proietti R, Nitta C J, Yin Y., et al. Scalable and distributedcontention resolution in AWGR-based data center switches usingRSOA-based optical mutual exclusion. IEEE Journal of SelectedTopics in Quantum Electronics, 2013, 19(2):3600111-3600111[37]. Rastegarfar H, Leon-Garcia A, LaRochelle S, et al. Cross-Layerperformance analysis of recirculation buffers for optical datacenters. Journal of Lightwave Technology, 2013, 31(3):432-445[38]. Rastegarfar H, Ann Rusch L, Leon-Garcia A. WDM recirculationbuffer-based optical fabric for scalable cloud computing. Journalof Lightwave Technology, 2014, 32(21):3451-3465[39]. Ji P N, Dayou Q, Kanonakis K, et al. Design and evaluation of aflexible-bandwidth OFDM-based intra-data center interconnect.IEEE Journal of Selected Topics in Quantum Electronics, 2013,19(2):3700310-3700310[40]. Sato K, Hasegawa H, Niwa T, et al. A large-scale wavelengthrouting optical switch for data center networks. IEEECommunications Magazine, 2013, 51(9):46-52[41]. Chao H J, Kang X. Bufferless optical Clos switches for datacenters//Proceedings of the Optical Fiber CommunicationConference and Exposition and the National Fiber Optic EngineersConference (OFC/NFOEC). Los Angeles, CA, USA, 2011:1-3 [42]. Xi K., Kao Y.-H., Yang M. and Chao H. J., Petabit optical switchfor data center networks, NY: polytechnic Institute of NYU,Technical report, 2010[43]. Proietti R, Cao Z., Li Y., et al. Scalable and distributed opticalinterconnect architecture based on AWGR for HPC and datacenters//Proceedings of the Optical Fiber CommunicationsConference and Exhibition (OFC), San Francisco, USA. 2014:1-3[44]. Wang H, Bergman K. A bidirectional 2x2 photonic networkbuilding-block for high-performance data centers//Proceedings ofthe Optical Fiber Communication Conference and Exposition andthe National Fiber Optic Engineers Conference (OFC/NFOEC).Los Angeles, USA, 2011:1-3[45]. Biberman A, Hendry G, Chan J, et al. CMOS-compatible scalablephotonic switch architecture using 3D-integrated deposited siliconmaterials for high-performance data center networks//Proceedingsof the Optical Fiber Communication Conference and Expositionand  the  National  Fiber  Optic  Engineers  Conference(OFC/NFOEC). Los Angeles, USA, 2011:1-3[46]. Wang H, Garg A S, Bergman K, et al. Design and demonstrationof an all-optical hybrid packet and circuit switched networkplatform for next generation data centers//Proceedings of theOptical Fiber Communication and National Fiber Optic EngineersConference (OFC/NFOEC). San Diego, USA, 2010:1-3[47]. Fiorani M, Casoni M, Aleksic S. Large data center interconnectsemploying hybrid optical switching//Proceedings of the 8thConference on Network and Optical Communications (NOC) and18th European Conference on and Optical Cabling andInfrastructure (OC & I). Graz, Austria, 2013:61-68[48]. Gumaste A, Bheri B M K. On the architectural considerations ofthe FISSION (Flexible Interconnection of Scalable SystemsIntegrated  using  Optical  Networks)  framework  fordata-centers//Proceedings of the 17th International Conference onOptical Network Design and Modeling (ONDM). Brest, France,2013:23-28[49]. Gumaste A, Bheri B M K, Kshirasagar A. FISSION: Flexibleinterconnection of scalable systems integrated using opticalnetworks for data centers//Proceedings of the IEEE InternationalConference on Communications (ICC). Budapest, Hungary,2013:3963-3968[50]. Hamedazimi N, Gupta H, Sekar V, et al. Patch panels in the sky: Acase for free-space optics in data centers//Proceedings of theTwelfth ACM Workshop on Hot Topics in Networks. CollegePark, Maryland, USA, 2013:1-7[51]. Hamedazimi N, Qazi Z, Gupta H, et al. FireFly: A reconfigurable wireless data center fabric using free-space optics// The SpecialInterest Group on Data Communication (SIGSOMM). Chicago,Illinois, USA, 2014:319-330[52]. Karthi D, Das G. POST: A scalable optical data centernetwork//Proceedings of the 2013 IEEE International Conferenceon Advanced Networks and Telecommuncations Systems (ANTS).Kattankulathur, India, 2013:1-3[53]. Zhang D, Wu J, Guo H, et al. An optical switching architecture forintra  data  center  interconnections  with  ultra-highscalability//Proceedings of the IEEE Optical InterconnectsConference. San Diego, USA, 2014:45-46[54]. Saha S, Deogun J S, Xu L.. HyScale: A hybrid optical networkbased  scalable,  switch-centric  architecture  for  datacenters//Proceedings of the IEEE International Conference onCommunications (ICC). Ottawa, ON, Canada, 2012:2934-2938[55]. Saha S, Deogun J S, Xu L.. HyScaleII: A high performance hybridoptical network architecture for data centers//Proceedings of the35th IEEE Sarnoff Symposium (SARNOFF). Newark,USA,2012:1-5[56]. Li D, Guo C, Wu H, et al. FiConn: Using backup port for serverinterconnection in data centers//Proceeding of the IEEEINFOCOM 2009. Rio de Janeiro, Brazil, 2009: 2276-2285[57]. Proietti R, Ye X, Yin Y, et al. 40 Gb/s 8x8 Low-latency OpticalSwitch for Data Centers//Proceedings of the Optical FiberCommunication Conference and National Fiber Optic EngineersConference (OFC/NFOEC). Los Angeles, California, USA,2011:OMV4[58]. Vahdat A, Liu H, Zhao X, et al. The emerging optical data center//Proceedings of the Optical Fiber Communication Conference andExposition and the National Fiber Optic Engineers Conference(OFC/NFOEC). Los Angeles, CA, USA, 2011:OTuH2[59]. Niwa T, Hasegawa H, Sato K, et al. Large port count wavelengthrouting optical switch consisting of cascaded small-size cyclicarrayed waveguide gratings. IEEE Photonics Technology Letters,2012, 24(22):2027-2030[60]. Garao D G, Maier G, Pattavina A. Modular architectures of opticalmulti-stage switching networks//Proceedings of  the IEEEInternational  Conference  on  Computer  Communications(INFOCOM). Turin, Italy, 2013:555-559[61]. Luo J, Di Lucente S, Ramirez J, et al. Low latency and large portcount  optical  packet  switch  with  highly  distributedcontrol//Proceedings of the Optical Fiber CommunicationConference and Exposition (OFC) and the National Fiber OpticEngineers Conference (NFOEC). Los Angeles, USA, 2012:1-3 [62]. Armbrust M, Fox A, Griffith R, et al. A view of cloud computing.Communications of the ACM, 2010, 53(4):50-58[63]. Jain R, Paul S. Network virtualization and software definednetworking for cloud computing: a survey. IEEE CommunicationsMagazine, 2013, 51(11):24-31[64]. Hyojoon K, Feamster N. Improving network management withsoftware defined networking. IEEE Communications Magazine,2013, 51(2):114-119