The initial series of line cards launched by Cisco for Nexus 7k series switches were M1 and F1. M1 series line cards are basically used for all major layer 3 operations like MPLS, routing etc, however, the F1 series line cards are basically layer 2 cards and used for for FEX, Fabric Path, FCoE etc. If there is only F1 card in your chassis, then you cannot achieve layer 3 routing. You need to have a M1 card installed in chassis so that F1 card can send the traffic to M1 card for proxy routing. The fabric capacity of M1 line card is 80 Gbps. Since F1 line card don’t have L3 functionality, they are cheaper and provide a fabric capacity of 230 Gbps. Later cisco released M2 and F2 series of line cards. A F2 series line card can also do basic Layer 3 functions, however, cannot be used for OTV or MPLS.  M2 line card’s fabric capacity is 240 Gbps while F2 series line cards have fabric capacity of 480 Gbps. New F3 card supports everything including OTV, MPLS, etc.

We can mix all cards in same VDC EXCEPT F2 card. The F2 card has to be on it’s own VDC.  You can’t mix F2 cards with M1/M2 and F1 in the same VDC. As per cisco, its a hardware limitation and it creates forwarding issues.

We can connect a FEX to two parent switches, however, only 5ks. we CANNOT connect a nexus 2k to two Nexus 7Ks. This is dual-homed FEX design and it is supported.

There are two series of Fabric modules, FAB1 and FAB2. Each FAB1 has a maximum throughput of 46Gbps per slot meaning the total per slot bandwidth available when chassis is running on full capacity, ie. there are five FAB1s in a single chassis would be 230Gbps.  Each FAB2 has a maximum throughput of 110Gbps/slot meaning the total per slot bandwidth available when there are five  FAB2s in a single chassis would be 550Gbps.  These are the FAB module capacity,however, the actual throughput from a line card is really dependent on  type of line card being used and the fabric connection of the linecard being used.

划分接口的时候,G口都是各口可划分,10G口一般是按Group划分。F1上的10G口是2个一组,其他M1/F2/M2上的10G口都是4个一组。

VPC Peer-link 口如果在M1(10G)卡上,建议使用DEDICATED模式,保证链路通畅。Peer Keep-alive 最好不要用MGMT0,因为在Switchover SUP的时候SUP RELOAD,会影响VPC监控PEER,把本来的永远不DOWN变成受SUP影响。

VPC是两台NEXUS独立管理,逻辑上合并为一台共享VLAN控制,在外联设备看来他们是一台设备,但是实际管理时这两台设备是独立的。所以存在HSRP。

如果upstream不支持PC,那么就要用到mac-pinning。mac-pinning中因为没有PC所以一个vm口只对应一个subgroup,默认是从1开始递增,如果使用relative命令,则从0开始计数。

以上图为例,UCS对SERVER端接口不支持PC,VSM可以做PC,VEM会将PC分为两组,主机Source MAC只会出现在其中一条线路中,这样保证Upstream SW不会从多个接口收到同一MAC。

VPC-HM Mac pinning是在普通HM基础上,通过Source MAC来分组分配LB给那个组。

upstream开启cdp:channel-group auto mode on sub-group cdp

upstream未开启cdp:channel-group auto mode on manual

upstream不支持PC:channel-group auto mode on mac-pinning

 

Nexus 默认VDC编号为VDC#1. 所有未分配接口都属于VDC0;默认所有物理接口都属于Default VDC。

Default VDC#1 unique feature

• VDC creation/deletion/suspend • Resource allocation : in t erfaces and memory • NX-OS Upgrade across all VDCs • EPLD Upgrade (f or new hardware features) • Ethanalyzer capt u res: control plane/data plan e (with ACL) traffic • Feature-set installation f or Nexus 2000, FabricPath and FCoE • CoPP • Port Channel load balancing • Hardware IDS check s control

The storage VDC creates a “virtual” MDS with in the Nexus 7000 with the following feature sets: • Participates as a full FCF in the network. • the default VDC can not be the storage VDC. • Zoning, FC alias, fc domains, IVR, Fabric Binding, and soon. • FCoE target support. • FCoE ISLs to other switches: Nexus 7000, 5000, and MDS. • Only one storage VDC per chassis. • Does not require Advanced License (VDC). • Does count toward total VDC count; • Shared interfaces, exception t o the rule allowing an interface to exist in only one VDC. The shared interface concepts are f or F1, F2, and F2e modules with a CNA installed in a server. The traffic is based on the L2 Ethertype; Ethernet VDC “owns” the interface, and the storage VDC sees the interface as well.

M没有FCoE,只有F有。所以M不能shared interface。

The Cisco Nexus 5000 Series switch does not support multiple VDCs. All switch resources are managed in the default VDC.

Nexus 7K要开启FCOE需要搭配SUP2/F Module,然后建立Storage VDC才能开启FCOE,不然看不到。5K自带FCOE。

5K不能Zoning,需要依靠Upstream 7K。

5548up 中UP意味着通用接口,支持任何SFP插入,可以做ethernet 又可以FC.

所以普通Static pinning牵扯到对最高UPLINK口数的设定,而PORT CHANNEL因为是全组UPLINK,所以UPLINK口数只需为1。

Spanning-tree port types:

Normal: 什么都不改就是Normal。 Network: 比Normal多一个Bridge Assurance,如果接口没有收到BPDU,就自动BLCOK此接口。如果两个BRIDGE上VLAN DATABASE不一样,就自动BLOCK接口上的VLAN STP。 Edge: 就是Portfast。

开启Peer-Switch的Nexus会对外宣告同一个Virtual MAC(0023.04ee.bexx),这样在VPC LINK链接的设备看来他们就是只连在了一台设备上。对于非VPC Link链接的设备,他们看到的是Nexus真正的MAC(int vlan 1),这样他们就能明确的区分出他们实际链接在哪个设备上,ROOT具体是谁。Pseudo Information就是用于这种情况下对全局Spanning-tree vlan 1-10 priority的一种微调。对于非VPC Link上的设备,会以Pseudo Information中定义的数值计算ROOT,按照下图的配置,结果就是VPC Link设备会以4096和VMAC链接ROOT,而非VPC Link设备会以Designated中设定的值来选择链接ROOT的真实MAC。建议Psedo的Root priority低于Global中的vlan priority。

Fabircpath Architect Design

类似MPLS的2层技术,和OTV类似,但它是把2层Encapsulate到2层头中(OTV是把2层放进3层Overlay中),通过ISIS实现最优路径选择,通过类似MPLS的使用SW ID标识Next-hop,实现CORE SW上不做MAC学习,把学习任务都分配给各EDGE层的Fabricpath SW,有些类似OSPF中的Stub。这样减轻CORE的负担(Conventional MAC Learning)。

FP配置只需个接口开启SW MOD FA模式,然后保证VLAN也是mod fabricpath就可以了。对于每台SW,FP有各自的Switch-ID,可以通过fabricpath switch-id xx 定义,而VPC+中可以在VPC DOMAIN下定义另一个Switch-id,两台机子共享同一个Virtual SID,这样在其他的连入机器看来就只是连到了一台FP机器上。

当FP和多个STP链接时,FP用同一个BID(C84C.75FA.6000)来使STP认为他们链接的是同一个SW。这样即使FP本身不传STP信息,也不会影响STP自身的计算。

当FP与STP相连时,需要所有FP EDGE都是FP VLAN的ROOT;而在FP DOMAIN内部,会根据Root Priority, System ID(VDC MAC), Switch ID的优先级(越高越好)来选取ROOT,fabricpath domain default 命令下也有一个写PRIORITY的地方,这个就是为DOMAIN中选ROOT用的。有2种方法让FP EDGE成为ROOT,1. 直接用spanning‑tree vlan x root,让SW成为root,2.用spanning-tree pseudo-information微调,这样能使SW在被spanning‑tree vlan x priority定义为某一优先级后,再有一个可以微调的能力(Pseudo只对STP设备有效???)。因为EDGE都是ROOT了,所以就应该有ROOT-GUARD的功能,这样在收到更高级BPDU的时候,可以自行阻断接口,来保证自己是ROOT。当多个FP EDGE与同一个STP设备相连时,需要保证这些EDGE都是ROOT都有相同的Spanningtree domain。

Each FabricPath edge switch must be configured as root for all FabricPath VLANs. If you are connecting STP devices to the FabricPath fabric, make sure you configure all edge switches as STP root by using the spanning‑tree vlan x root primary command (or manually configure the bridge priority on each switch to force the switch to be root). Additionally, if multiple FabricPath edge switches connect to the same STP domain, make sure that those edge switches use the same bridge priority value.

By default, Cisco FabricPath creates two MDTs (Multidestination Tree) in the default Topology 0, and multidestination traffic is mapped to either of those trees for load-balancing purposes. MDT1是Broadcast/Unicast Tree,MDT2是Multicast Tree。

The first tree is built by electing a root, very much like STP the root is elected based on :

–          Highest Root Priority

–          Highest System ID

–          Highest Switch ID

fabricpath domain default下设定本机FA的Root Priority,最高的为MDT1的ROOT,次高的为MDT2的ROOT。

Fabricpath中不存在Spanning-tree,是对已有FRAME进行二次封装,自动携带TAG,只用在接口下定义sw mod fa就可以。注意,用作VPC的接口不能再用作FP。配置中就像OSPF划分AREA一样,Edge对host的接口为普通接口CE,对CORE的接口是FP,CORE之间是FP做VPC+。VPC+ PEER间必须是F卡连接。

M卡不具备FP功能,所以如果要将M卡上的VLAN导入FP中,就要独立建立VDC,然后将M的VDC与F的FP VDC连线导入。

FA和CE混合连接的HSRP概念图。FP中的HSRP和VPC一样,是Control Plane ACT/Std,Data Plane ACT/ACT。

有两种方式形成ACT/ACT HSRP,一种是上图这种VPC+,另一种就是下面这种Anycast HSRP。

这种结构中,借由基于ISIS的FP计算,HSRP可以脱离TIMER束缚,达到HSRP组中Contorl Plane上active hsrp一旦FAIL,其他机器直接根据FP的状态计算替换FAIL的SW。这就是Anycast HSRP (AC HSRP)。同时,这种结构实现了ECMP,S100有4条线路可以到达SPIN组,虽然S10才是Control Plane Actvie,但是S10-40都会回复一个VMAC给S100,这样一来S100看来就有4条路径可达HSRP。

VPC+是通过virtual SID将两台FP SW混成1台实现ACT/ACT HSRP,Anycast HSRP是多台FP SW使用同一个VMAC回复实现ACT/ACT HSRP。

interface loopback1 ip address 192.168.1.1/32 ip router ospf 1 area 0.0.0.0 ip pim sparse-mode 可以令多个NEXUS成为RP。只需要用ip pim anycast-rp建立一个组,指定组中的机器可以成为RP候选,具体选哪个由机器自己决定。

Kickstart是Linux kernel镜像,Sys image是交换机功能镜像。

show diff rollback-patch checkpoint test running-config 显示run config中较test不同的部分。比如先存了checkpoint test,然后no username xx,则此命令显示diff为no username xx.

默认所有接口都属于VSAN 1,如果没有创建其他VSAN,则默认所有FC接口都属于VSAN1。VSAN 4096是isolated VSAN,当接口所在VSAN被删除后,接口会被自动分配给VSAN 4096以避免冲突。

VSAN 1 cannot be deleted, but it can be suspended.

Nexus5000不支持基于WWN自动分配PORT。

VSAN Trunk只在CISCO的FC交换机上的FC接口才有效果,默认FC接口开启trunking,如果和其他品牌交换机相连,TRUNK是DISALBED。模式有on,off,auto,auto-auto会出现no trunking,必须有一端是ON才能出现trunking。

对于F Port Port-Channel,需要开启feature fport-port-channel,才能在F类接口使用PC。

MDS一侧,如果用PC和FI相连,需要在MDS进入INT PO#,channel mode active,开启LACP。

VFC不能VSAN Trunking。VFC口不能用作SPAN DST。VFC不能PORT TRACKING。VFC不能改SPEED。

因为要将FC的lossless信息通过ETH的loss通道传输,FCOE中会用到PFC(Priority Flow Control),就是以收端通知发端它的堵塞情况来要求发端暂停或继续发送数据。PFC在CoS中的默认值是3。

根据我自己实际测试,接口最大可通过SIZE是8976(一般为MTU-28bit作为实际可通过SIZE,比如MTU9000,则实际可通过SIZE为8972),即使接口MTU写到9216,也是只有8976。

Jumbo Frame对于iSCSI传输的重要性不言而喻,NEXUS5K/7K对于MTU的规定不同,对于2L/3L接口的MTU规定也不同。

原则是服务器端都是MTU9000,NEXUS上或者UCS的QOS上都是9216。

BEST EFFORT值限制了UCS全局可接受最大MTU,作用就和SYSTEM JUMBOMTU一样。即使没有ADAPTER应用BEST EFFORT,BEST EFFORT也对UCS起作用。比如BEST EFFORT=5000,GOLD =9216,如果所有ADAPTER都应用GOLD,那么其实这些ADAPTER只能接受5000。相反,如果BEST EFFORT=9216,GOLD=5000,那么所有应用GOLD的ADAPTER就是5000,其余ADAPTER就是9216或者别的QOS MTU值。

5K:MTU配置基于QOS,要在POLICY MAP中定义;

7K:默认system jumbomtu 9216(2158-9216)定义系统MTU,和5K QOS作用相同,不同是其接口下可以直接定义具体接口的MTU;

L2:只能在1500和系统MTU之间选择之一;

L3:可以在1500到9216之间选择任意偶数。

system jumbomtu中的值是给L2用的。如果要改Port Channel的MTU,需要先在其各自接口中改MTU,然后再到PC中改MTU。

5K中QOS配置:

class-map type network-qos class-fcoe            把QOS组1分给FCOE CLASS match qos-group 1 class-map type network-qos class-default        定义DEFAULT CLASS,没写GTOUP号,默认是0号 class-map type network-qos class-all-flood match qos-group 2 class-map type network-qos class-ip-multicast match qos-group 2 policy-map type network-qos jumbo9216         MTU9216的QOS Policy Map,因为这里要和 class type network-qos class-fcoe                    FCOE+iSCSI,所以既要有2158又要有9216。 pause no-drop mtu 2158 class type network-qos class-default mtu 9216 multicast-optimize policy-map type network-qos default-nq-policy class type network-qos class-default multicast-optimize policy-map type network-qos fcoe-default-nq-policy       系统自动生成的QOS POLICY不能修改,所以才 class type network-qos class-fcoe                                   重建了一个JUMBO9216,然后又把FCOE pause no-drop                                                               MTU又写了一遍 mtu 2158 class type network-qos class-default multicast-optimize system qos service-policy type queuing input fcoe-default-in-policy service-policy type queuing output fcoe-default-out-policy service-policy type qos input fcoe-default-in-policy service-policy type network-qos jumbo9216                   应用JUMBO9216

UCS上也和5K类似,要做一个9216的JUMBO FRAME QOS。然后在NIC上改MTU9000。

vCon group用来在BLADE层面负载均衡,BLADE上使用的APADTER不同,vCon分配也不同:

vCon分布可以强制,选择如下:

VSG中Policy和port-group间的应用关系如图:

更成熟的方法是创建vPath,把多个Policy-set放到一个vPath上,再用vservice path xxx调用。这样就能组合多个ACL-Set,而不用每次修改ACL都重新写vservice node xxx profile xxx

VSM-VSG-ESX-vCenter的网络关系很重要。对于MGMT,出于安全考虑,可以独立分配给一个VLAN。VSM对于VSG和ESX的控制,是直接的,而不是通过vCenter,也就是说,要保证VSM和他们之间的通信,如果vCenter和他们之间能通,VSM和vCenter也能通(vCenter上有两个接口),不代表VSM能控制VSG。

PIN GROUP负责指定ve网卡走哪些UPLINK口。

一个是在HOST层控制,一个是在FI上控制。从2.0开始,对于指定UPLINK的VLAN(VLAN MANAGER),只有从UPLINK口接到的去往HOST的请求或回复才会理会,其他接口接到信息的话,会DROP,这叫RPF。如果新建VLAN没有指定UPLINK,那么默认是此VLAN可以在所有UPLINK上通行。