Openstack neutron：云数据中心底层网络架构

Vmware Edge 机架中主要运行的是NSX的edge设备。edge设备一边连接租户网络的分布式路由一边连接外网（WAN）。它代表是传统数据中心的南北向的流量，在网络的边缘提供NAT、VPN、LB、FW等服务。edge组件本身是一台虚拟设备，通过vmware nsx的管理页面来统一管理，但是控制层面和转发层面还是集中在设备上。它的实现方式更像NFV。

总结：

NSX采用软件路由器连接租户网络和外部网络。每个租户都能创建自己专属的软件路由器，并自定义出口的策略。外部网络一般通过1 x 10 GbE 或者1 x 40 GbE交换机网络互联。外部网络北向一般是数据中心的传统交换机和路由器。

存储网络

存储网络主要是用于连接存储节点和计算节点。在云计算数据中心中，存储以分布式的存储为主。

VMware推荐直接在计算节点使用VSAN来直接为租户业务提供持续化存储，也就是说计算节点也同时作为存储节点来使用。那就意味着存储网络是计算节点服务器之间互联的网络，VSAN的最佳实践，推荐主机采用相同或者类似的磁盘配置。并使用单独的网卡用作主机之间的存储流量。

VSAN支持通过千兆网络部署，前提是该网卡仅传输VSAN流量，但是实际使用中极度不推荐。且纯SSD架构中，不支持使用千兆网络。VSAN是以物理主机集群为单位组建的，每个集群有且仅有一个vsan存储集群。且所有需要使用到该存储的主机，必须都处于同一个集群内。即便该主机不提供vsan磁盘组。

所以存储网络至少应该使用使用万兆交换机，服务器通过单个万兆网卡互联（VSAN暂不支持网卡聚合），组建VSAN内部网络。同时VSAN需要通过组播来获取集群变化信息，所以组播也必须支持。

配置重点

存储网络以集群为单位，连接集群内的所有物理主机，存储网络至少需要1 x 10 GbE 或者1 x 40 GbE交换机网络，并且需要组播支持。

openstack整体网络结构

网络上流传的各种opnstack的架构图都是组件模块之间的架构图，基本上会让刚开始了解openstack的人看得一头雾水。Mastering openstack书中有一张物理拓扑，架构非常清晰，如下：

（Mastering Openstack）

通过这个架构图很容易发现，其实两者openstack的物理网络架构和vmware NS的架构非常的类似。同样将流量分为管理网络、外部网络、存储网络、租户网络。（同中将租户网络和存储网络都用红色表示，但实际上是两张网的）。但是细细探究会发现两者还是有较大的差异。

管理网络：（上图中蓝线）

openstack的管理网络流量，同样需要连接所有的主机，其上传输的流量包括：horizon、nova、cinder、keystone、glance、neutron等组件的管理服务。并通过管理网络与计算节点、网络节点上的agent、client通信。

值得一提的是，与vmware不同的是，openstack没有将虚拟机迁移（vmotion）的流量单独出来，而是直接走的管理网络。所以此处会比vmware官方建议的少一类网络，计算节点上也会少一块网卡。

所以管理网络的带宽也会建议上到万兆。

外部网络：（上图中黑线）

同样是用来为租户的私有网络和我们常用的互联网。其上主要运行的是neutron的各种插件，包括L2 agent、L3 agent、DHCP agent、VPN agent、FW agent，以及配套各种软件（或者linux的network namespace网络命名空间，负责具体实现路由、防火墙、VPN等功能）。为租户提供各种诸如NAT、router之类的出口服务。

存储网络：（图中红线）

与VSAN计算和存储节点融合在一起有所不同，openstack架构中，普遍采用单独的存储服务器集群向计算节点服务器提供存储服务，且支持块存储、文件存储、对象存储多种类型。

在网络设计上也会有较大的差异，存储服务器集群内部需要通过高性能网络连接。同时存储服务器与计算节点服务器之间也要通过高带宽网络连接。

实际上，vmware vsan 同样允许计算节点和存储节点处于不同的物理服务器上，但是要求使用vsan存储的主机和提供vsan存储的主机处于同一个集群。但是vsan集群中对于主机数有限制（6.0版本中已经升级到64台），每个集群只能有一个VSAN，且集群中所有的主机都会消耗vsan的license数量。所以在这种特殊的收费方式下，vsan的实际部署都是采用融合方式也就是存储节点和计算节点结合在一起。

租户网络：（图中红线）

neutron的租户网络结构与vmware的类似，同样通过二层的overlay技术来对租户的流量进行标记，实现隔离。但是相比vmware必须采用自家的vDS或有限的几家合作伙伴（cisco、ibm、brocade）以外。Openstack neutron支持的二层设备包括一大票的开源虚拟交换机和商用虚拟交换机的插件，并且不同的二层设备支持的协议和功能的实现都有不同。

Open vSwitch Plugin最开始nicira主导的开源标准openflow交换机

Cisco UCS/Nexus Plugin

Cisco Nexus1000v Plugin较早商用的虚拟交换机，支持包括openstack、vmware在内的多个平台

Linux Bridge Plugin            老牌linux 网桥技术，很早就已经集成到linux内核

Modular Layer 2 Plugin

Nicira Network Virtualization Platform (NVP) Plugin          也就是NSX的插件

除此之外还有Big switch 、brocade、IBM、MidoNet等等非常多的二层插件。不用的插件在二层租户网络的实现上都有非常大的差异。而且也大量使用着各种私有协议。早期openstack版本中，因为不同的插件控制器不同，而控制器只能使用一种。导致网络使用的二层agent也必须为同一种。这一问题在后来版本中加入ML2层后得到了很好的解决。ML2屏蔽了不同插件的不同，而统一对外提供neutron网络功能的API，兼容不同的二层实现方式只需将不同厂家的插件加入到ML2中。ML2中间层能够很好地在一个网络中兼容多种二层的插件。

所以，neutron server成了SDN的控制器，通过openflow、OVS DB的协议兼容了多种二层软硬件设备。

后面的中心也会放在Open vSwitch和Linux Bridge上。

最后，这仅仅是openstack和nsx的标准范例，实际上不同的环境下，所采用的技术有非常大的差异，比如专用的高安全性的机房、物理的overlay实现等。不过总的来说，流量的类型还是逃不出这几大类。

（编辑：核心网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!