ACI

EPG中的Static Binding有3中接口模式: 802.1P:给QOS用的,一般情况下都和UNTAGGED作用一样。但如果一个接口同时定义在多个EPG中,既是802.1P又是TRUNK,那么802.1P的流量将被化做VLAN0,其他流量保持原有VLAN TAG。 TRUNK:和普通SW上的TRUNK一致。 UNTAGGED:和普通SW的ACCESS PORT一致。 ACI中同一个接口可以归为多个EPG,但是每个EPG中只能对同一个接口绑定一次,也就是说要定义一个有N多个VLAN 的TRUNK口,就要创建N多个EPG。 BD和EPG中都有subnet,如果只在BD或EPG中的subnet建gateway,而没有在EPG中绑定借口,那么这个ip是不会出现在设备接口上的,也就是show ip int br看不到,任何设备上show ip route也看不到,但是这个网段是可以通过vrf routing leak路由宣告出去,比如从epg1 leak给l3 out epg,然后路由会被上家路由器学到。如果是在epg中绑定借口,那么不论ip是定义在BD还是EPG中,都会生成SVI。  ACI中路由是基于各LEAF和SPINE之间通过BGP学习,所以应用任何路由协议之前,要先到Fabric Policy–Pod Policy下开启BGP Reflector并定义AS. ACI 1.2中,L3和L2 OUT都必须有NETWORK EPG,EPG中可以没有Contracts,这一点和前几个版本不同。L3 OUT中默认所有网络都可以ANNOUNCE出去。如果要做VRF间的路由渗透,只需在NETWORK EPG(Provider)和A EPG(Consumer)中建立CONTRACT联系即可,当然还是要定义NETWORK中具体哪些网络可以渗透。L2 OUT中必须定义接口使用的VLAN DOMAIN,而且只能从L2 EXT DOMAIN中选。同时,此接口在AEP中也必须要绑定相同的L2 DOMAIN。这里有个问题,如果L2和L3 OUT都用同一个接口,而同一个接口不可以属于两个DOMAIN(会有错误提示),这里其实在定义L3 OUT的地方可以空出L3 DOMAIN不定义,虽然会有FAULT,但是不影响任何路由功能,这样一来,接口只属于L2 OUT DOMAIN,就可以即用L2又有L3。  show ip arp: show endpoint ip 10.237.4.1 clear ip arp: clear system internal epm endpoint key vrf OpenIAAS:Bell ip 10.237.4.1 可以用moquery直接从ACI DATABASE中以查找log的形式查找数据。 比如要找某个IP在ACI中的位置: moquery -c fvCEp -f ‘fv.

Continue reading

Nexus 5k FC Storage

将5k类具有UP功能的NEXUS变成FC口的方法如下: 将E1/45-48变成FC口,此命令执行完需要重启! slot 1 port 45-48 type fc 定义VSAN,和接口指定为ACCESS的VSAN号 vsan database vsan 1000 vsan 1000 interface fc1/48 定义VSAN的VLAN vlan 1000 fcoe vsan 1000 name fcoe_test 定义FC口为F口,因为对面连接FI,FI的VHBA对外是一个开启NPV功能的FC交换机,而5K是FI和STORAGE间的中转,所以需要5K开启NPIV来帮助解答NPV数据,在这种关系中,5k对外的口是F,FI上的口是NP。 interface fc1/48 switchport mode F FEATURE FCOE如果不开启,重启后的NEXUS就看不到新配的FC口,配置文件都在,只是看不到口,需要FCOE license。 5596Top(config)# feature fcoe FC license checked out successfully fc_plugin extracted successfully FC plugin loaded successfully FCoE manager enabled successfully FC enabled on all modules successfully Enabled FCoE QoS policies successfully 如果一切正常就会在5K上看到UCS上的vhba: 5596Top(config)# sh flogi database fc1/48 1000 0xd20040 20:30:8c:60:4f:5b:2b:80 23:e8:8c:60:4f:5b:2b:81 fc1/48 1000 0xd20041 20:00:00:25:b5:ff:06:8f 20:00:00:25:b5:ff:02:8f fc1/48 1000 0xd20042 20:00:00:25:b5:ff:06:9f 20:00:00:25:b5:ff:02:9f fc1/48 1000 0xd20043 20:00:00:25:b5:ff:06:6f 20:00:00:25:b5:ff:02:6f fc1/48 1000 0xd20044 20:00:00:25:b5:ff:06:4f 20:00:00:25:b5:ff:02:4f fc1/48 1000 0xd20045 20:00:00:25:b5:ff:06:7f 20:00:00:25:b5:ff:02:7f fc1/48 1000 0xd20046 20:00:00:25:b5:ff:06:5f 20:00:00:25:b5:ff:02:5f fc1/48 1000 0xd20047 20:00:00:25:b5:ff:06:2f 20:00:00:25:b5:ff:02:2f fc1/48 1000 0xd20048 20:00:00:25:b5:ff:06:3f 20:00:00:25:b5:ff:02:3f

Continue reading

CCIE DC TIPs

FI到NEXUS的UPLINK口,在NEXUS上要spanning-tree port type edge trunk,实现快速收敛。 Gen1不支持UCS Chassis到FI之间Port Channel。只有两边都是Gen2才行。 从一个FI UPLINK口收到的流量不会从另一个UPLINK口出去。 同一CHASSIS上的同一IO只连同一个FI,不可以IO A连FI A+B。 HOST上的VIC card分1280和1240,1280从HOST到IO A/B分别有4条PATH,每条10G,一共80G带宽。1240从HOST到IO A/B分别有2条PATH,每条10G,一共40G带宽。IO分为2208和2204两种,2208有8口共80G带宽,2204有4口共40G带宽。所以用2208对外一个有160G带宽可用,而如果CHASSIS使用1280卡满负荷运行会产生8×80G=640G流量。 HOST上的STORAGE流量通过VSAN PIN GROUP从指定FI的FC口流出,从HOST到FI的路径是自动内部FCOE。FI的HOST模式自动将FI设成NPV MODE,所以要求上家FC交换机有NPIV功能。所以就是MDS要开NPIV。 要令Nexus上的Unified Port在ethernet和fc间转换需要使用命令slot然后进入各个口进行type定义,之后需要重启。开启FCOE之后就可以启用新的FC口了。 reload:重启机器,保持VDC配置不变, copy start run。 restart:不重启机器,no vdc, copy start run。 bringdown:什么都不做,只将坏的sup关停。 switchover:SUP间切换。 NPIV-NPIV之间应该是E port???? qos是给input traffic分组打TAG,queuing负责bandwidth,network-qos负责对qos分组的数据进行再塑(qos class default没有cos标,所以如果是改MTU的话应该应用在class default上)。 1000v needs mtu to be applied under port-profile and qos needs to be in service policy under port-profile; 5k needs it to be applied in network-qos under “system qos - service policy”.

Continue reading

Since I didn’t include this part at the beginning at the very low level, decided just add it here. Select the port connected to the path with the lowest accumulated Spanning Tree Path Costto the Root Bridge (Root Switch) as the Root Port, when a Non-Root Switch has multiple paths to reach the Root Switch. If multiple paths are available to reach the Root Bridge (Root Switch) with the same accumulated Spanning Tree Path Cost in a Non-Root Switch, select the port connected to the neighbor switch which has the lowest Switch IDvalue as the Root Port.

Continue reading

The initial series of line cards launched by Cisco for Nexus 7k series switches were M1 and F1. M1 series line cards are basically used for all major layer 3 operations like MPLS, routing etc, however, the F1 series line cards are basically layer 2 cards and used for for FEX, Fabric Path, FCoE etc. If there is only F1 card in your chassis, then you cannot achieve layer 3 routing.

Continue reading

VSM 总结

version 4.2(1)SV2(2.2)

svs switch edition essential

no feature telnet

feature lacp

banner motd #Nexus 1000v Switch#

ip domain-lookup

ip host Nexus1000v 10.10.1.101

hostname Nexus1000v

errdisable recovery cause failed-port-state

vem 3

host id 2fb52500-0000-0000-0000-000000000004

vem 4

host id 2fb52500-0000-0000-0000-000000000003

vem 5

host id 2fb52500-0000-0000-0000-000000000002

vem 6

host id 2fb52500-0000-0000-0000-000000000001

Continue reading

OSPF Over VPC

如果OSPF使用下图这种两个VPC Peer Link Group相连(TOP一组,BTM一组),就不能以VLAN Int为OSPF宣告口(各NEXUS都有此VLAN Int),必须单独引一条纯3层的线路用于OSPF。否则会造成卡在Exstart/DR无限循环的问题。     如果OSPF宣告口只是同过VPC PEER就能学到,就不存在问题。

Continue reading

0–A–B–C–D,如果B-0的路径是通过Static Routes指定的,那么B就会一直向C通告它有路径可达0,这时如果0实际已经掉线,就会出现问题。因为在B看来它并没有去尝试确认A是否真的可达,它只是基于BA之间链路是否UP来估测0的可达性,而简单的redistribute static会造成C获得不需要的路由信息。 使用SLA和TRACK组合,可以达到控制C向D通告路由内容的作用。 0: 172.16.136.112+ 172.16.136.113 ip sla 1 icmp-echo 172.16.136.112 source-interface GigabitEthernet4/40 frequency 5 ip sla schedule 1 life forever start-time now track 1 ip sla 1 reachability ip route 172.16.136.112 255.255.255.255 null0 track 1 ip sla 2 icmp-echo 172.16.136.113 source-interface GigabitEthernet4/41 frequency 5 ip sla schedule 2 life forever start-time now track 2 ip sla 2 reachability ip route 172.16.136.113 255.255.255.255 Null0 track 2 这样就只有当C确实能从0得到ICMP ECHO的情况下,它才会去通告D它具有一条路由,否则就会销毁到NULL0去。  另一种情况是,如果B-0的路径是用STATIC ROUTE指定的,就不能用TRACK了,因为IP ROUTE会造成TRACK被忽略,不写IP ROUTE,0永远不可达,写了IP ROUTE,不论TRACK是否可达,B都会通报路由。这时就要用到BFD。B-A间都开启BFD,进行STATIC ROUTE 检测,如果不可达自然会屏蔽。

Continue reading

Nexus OTV

OTV (Overlay Transport Virtualization) 是一种借助3层传输2层协议的技术,用于在NEUXS之间传递本地2层信息,让远端设备认为自己是在想2层对象传输信息。 Internal Interface:本地2层接口 OTV Join Interface:用于交换3层信息,建立邻接关系的纯3层接口(可以是独立接口也可以是Port Channel) Overlay Interface:在邻接接口之上的逻辑链路,2层信息在此传输 根据OTV VDC的位置,可以分为stick和inline两种。stick是OTV自己没有直接去往CE的三层链路,需要通过连接Aggregation VDC,从那里路由出去;inline是OTV自己有三层链路去往CE,所有数据通过OTV三层出去。一般来说STICK会好一些,因为它不论是在冗余还是布局以及以后规划中都有优势,INLINE的问题是所有数据都从它走容易给OTV VDC造成压力,同时还造成三层路由管理上比较复杂,不容易统一管理。 当OTV和AGG VDC相连涉及到F1卡的时候,记住OTV中无论三层还是二层都要用M卡,不可以用F卡,因为OTV需要M卡进行编码。即OTV中二层M卡,AGG中二层F卡。如果是MULTICAST MODE,那么HOST和PIM路由器间的第一跳接口都需要IGMP V3,之后其他路由器之间可以不用IGMP V3。因为只有OTV只需要IGMP JOIN,HOST连入路由器之后JOIN就结束了。OTV VDC本身不需要开启PIM,无论STICK还是INLINE,因为它扮演的角色只是PIM中的一台HOST,只有上家路由器的所有参与MULTICAST的端口才需要开启PIM,以及设定RP。默认SSM DATA GROUP RANGE是232.0.0.0/8。ip pim ssm range 可以改变这个值。因为/8 RANGE很大,只有GROUP RANGE超出这个范围才需要改。OTV Control Group只要不是在这个范围内就可以,OTV会把IGMP V3 JOIN信息发到这个地址。OTV DATA GROUP应该是在232.0.0.0/8内的,例如232.1.2.3/24。IGMP开启时邻接关系建立的方法: 默认一般的广播流量都会被禁止,当然也可以手动指定允许某些特定MAC的广播。 Authoritative edge device (AED)是用来代表本SITE和其他SITE进行会话的EDGE,这样可以防止因为同时是同多个EDGE造成LOOP。当有两台EDGE在同一个SITE中时,默认高SYSTEM ID的EDGE负责基数VLAN,低SYS ID负责偶数VLAN。 Site-Adjacency:OTV EDGE面向本地VLAN设备方向的邻接设备,同一个SITE中的所有EDGE应该具有相同的ID,类似VPC; Overlay-Adjacency:OTV EDGE面向远端邻接的OTV EDGE设备; 强烈建议过滤FHRP信息,因为如果OTV上可以随意交流FHRP,会造成站点A的信息影响站点B,比如HSRP10在A用来,B上就不能用。 otv site-identifier 0001.0001.0001 vlan 999 name OTV_Site_Vlanotv site-vlan 999 interface Overlay0 otv join-interface Ethernet3/1 otv control-group 239.1.1.1 otv data-group 232.

Continue reading

Nexus vPC

Building a vPC Domain: Guidelines and RestrictionsTo build a vPC domain, use the following configuration guidelines: ● You must enable feature vPC (conf t; feature vpc) before you can start configuring a vPC domain. ● You must configure peer-keepalive link before peer-link in order for vPC system to come up.● You must configure both vPC peer devices; the configuration is not sent from one device to the other. ● To configure double-sided vPC topology, you must assign a unique vPC domain ID for each respective vPC layer.

Continue reading

Author's picture

LuLU

Love coding and new technologies

Cloud Solution Consultant

Canada