ACI

EPG中的Static Binding有3中接口模式: 802.1P:给QOS用的,一般情况下都和UNTAGGED作用一样。但如果一个接口同时定义在多个EPG中,既是802.1P又是TRUNK,那么802.1P的流量将被化做VLAN0,其他流量保持原有VLAN TAG。 TRUNK:和普通SW上的TRUNK一致。 UNTAGGED:和普通SW的ACCESS PORT一致。 ACI中同一个接口可以归为多个EPG,但是每个EPG中只能对同一个接口绑定一次,也就是说要定义一个有N多个VLAN 的TRUNK口,就要创建N多个EPG。 BD和EPG中都有subnet,如果只在BD或EPG中的subnet建gateway,而没有在EPG中绑定借口,那么这个ip是不会出现在设备接口上的,也就是show ip int br看不到,任何设备上show ip route也看不到,但是这个网段是可以通过vrf routing leak路由宣告出去,比如从epg1 leak给l3 out epg,然后路由会被上家路由器学到。如果是在epg中绑定借口,那么不论ip是定义在BD还是EPG中,都会生成SVI。  ACI中路由是基于各LEAF和SPINE之间通过BGP学习,所以应用任何路由协议之前,要先到Fabric Policy–Pod Policy下开启BGP Reflector并定义AS. ACI 1.2中,L3和L2 OUT都必须有NETWORK EPG,EPG中可以没有Contracts,这一点和前几个版本不同。L3 OUT中默认所有网络都可以ANNOUNCE出去。如果要做VRF间的路由渗透,只需在NETWORK EPG(Provider)和A EPG(Consumer)中建立CONTRACT联系即可,当然还是要定义NETWORK中具体哪些网络可以渗透。L2 OUT中必须定义接口使用的VLAN DOMAIN,而且只能从L2 EXT DOMAIN中选。同时,此接口在AEP中也必须要绑定相同的L2 DOMAIN。这里有个问题,如果L2和L3 OUT都用同一个接口,而同一个接口不可以属于两个DOMAIN(会有错误提示),这里其实在定义L3 OUT的地方可以空出L3 DOMAIN不定义,虽然会有FAULT,但是不影响任何路由功能,这样一来,接口只属于L2 OUT DOMAIN,就可以即用L2又有L3。  show ip arp: show endpoint ip 10.237.4.1 clear ip arp: clear system internal epm endpoint key vrf OpenIAAS:Bell ip 10.237.4.1 可以用moquery直接从ACI DATABASE中以查找log的形式查找数据。 比如要找某个IP在ACI中的位置: moquery -c fvCEp -f ‘fv.

Continue reading

iSCSI on MDS

一篇很棒的BLOG。CISCO关于iSCSI的指导MDS在iSCSI中扮演一个中介角色,它一端通过FC连接STORAGE,一端通过GI口连接SERVER。在FC看来,它在和SERVER的PWWN相连(其实是MDS给的假PWWN),从SERVER端看来,它在连一个ISCSI TARGET IP或IQN。 iSCSI和ISLB的很大区别是,iSCSI initiator命令只用作修改VSAN和CHAP,而TARGET需要另外用iscsi virtual-target命令定义。islb是把这两个合并到islb initiator命令中使用。同时islb virtual-target提供更多的详细control access。在MDS没有配置任何iSCSI initiator的情况下,如果有SERVER前来连接MDS,MDS会根据iSCSI口上是否启用动态分配PWWN功能做成反应。如果开启,就会自动分配地址。 int iscsi 1/2 no shut switchport proxy-initiator 这句可有可无,PROXY的作用是将多个FLOGI和FCID合并为一个 vsan database vsan 101 interface iscsi 1/2 将新iSCSI口分配给VSAN101,后面才能和其他VSAN101中的FC上的PWWN归为一个ZONE iscsi import target fc 将FC上连的所有PWWN对象都引入为自动创建的iSCSI TARGET zoneset name VSAN101 vsan 101 zone name ESXi-JBOD1-D2 member pwwn 21:00:00:1d:38:1c:6f:24 FC上的STORAGE PWWN member ip-address 10.150.150.10 SERVER端IP地址 member pwwn 21:0a:00:0d:ec:54:63:82 MDS为iSCSI 1/2自动生成的PWWN,在STORAGE看来它就是SERVER端的PWWN member symbolic-nodename iqn.1998-01.com.vmware:53de1d20-106c-8c14-070d-0025b500010d-612838b7 SERVER端IQN zoneset activate name VSAN101 vsan 101 iscsi save-initiator 将系统自动分配的动态SERVER PWWN存为固态PWWN,防止重启后PWWN改变 ====================================================================================== 以上是动态分配的配置方法,下面介绍固态 iscsi import target fc会自动将所有连入MDS的IQN请求关联,如果想针对某一TARGET IQN的连接进行限制,就要针对TARGET建立可以访问的表格 UCS BOOT from iSCSI是需要写TARGET IQN,就会用到这个

Continue reading

Nexus 5k FC Storage

将5k类具有UP功能的NEXUS变成FC口的方法如下: 将E1/45-48变成FC口,此命令执行完需要重启! slot 1 port 45-48 type fc 定义VSAN,和接口指定为ACCESS的VSAN号 vsan database vsan 1000 vsan 1000 interface fc1/48 定义VSAN的VLAN vlan 1000 fcoe vsan 1000 name fcoe_test 定义FC口为F口,因为对面连接FI,FI的VHBA对外是一个开启NPV功能的FC交换机,而5K是FI和STORAGE间的中转,所以需要5K开启NPIV来帮助解答NPV数据,在这种关系中,5k对外的口是F,FI上的口是NP。 interface fc1/48 switchport mode F FEATURE FCOE如果不开启,重启后的NEXUS就看不到新配的FC口,配置文件都在,只是看不到口,需要FCOE license。 5596Top(config)# feature fcoe FC license checked out successfully fc_plugin extracted successfully FC plugin loaded successfully FCoE manager enabled successfully FC enabled on all modules successfully Enabled FCoE QoS policies successfully 如果一切正常就会在5K上看到UCS上的vhba: 5596Top(config)# sh flogi database fc1/48 1000 0xd20040 20:30:8c:60:4f:5b:2b:80 23:e8:8c:60:4f:5b:2b:81 fc1/48 1000 0xd20041 20:00:00:25:b5:ff:06:8f 20:00:00:25:b5:ff:02:8f fc1/48 1000 0xd20042 20:00:00:25:b5:ff:06:9f 20:00:00:25:b5:ff:02:9f fc1/48 1000 0xd20043 20:00:00:25:b5:ff:06:6f 20:00:00:25:b5:ff:02:6f fc1/48 1000 0xd20044 20:00:00:25:b5:ff:06:4f 20:00:00:25:b5:ff:02:4f fc1/48 1000 0xd20045 20:00:00:25:b5:ff:06:7f 20:00:00:25:b5:ff:02:7f fc1/48 1000 0xd20046 20:00:00:25:b5:ff:06:5f 20:00:00:25:b5:ff:02:5f fc1/48 1000 0xd20047 20:00:00:25:b5:ff:06:2f 20:00:00:25:b5:ff:02:2f fc1/48 1000 0xd20048 20:00:00:25:b5:ff:06:3f 20:00:00:25:b5:ff:02:3f

Continue reading

CCIE DC TIPs

FI到NEXUS的UPLINK口,在NEXUS上要spanning-tree port type edge trunk,实现快速收敛。 Gen1不支持UCS Chassis到FI之间Port Channel。只有两边都是Gen2才行。 从一个FI UPLINK口收到的流量不会从另一个UPLINK口出去。 同一CHASSIS上的同一IO只连同一个FI,不可以IO A连FI A+B。 HOST上的VIC card分1280和1240,1280从HOST到IO A/B分别有4条PATH,每条10G,一共80G带宽。1240从HOST到IO A/B分别有2条PATH,每条10G,一共40G带宽。IO分为2208和2204两种,2208有8口共80G带宽,2204有4口共40G带宽。所以用2208对外一个有160G带宽可用,而如果CHASSIS使用1280卡满负荷运行会产生8×80G=640G流量。 HOST上的STORAGE流量通过VSAN PIN GROUP从指定FI的FC口流出,从HOST到FI的路径是自动内部FCOE。FI的HOST模式自动将FI设成NPV MODE,所以要求上家FC交换机有NPIV功能。所以就是MDS要开NPIV。 要令Nexus上的Unified Port在ethernet和fc间转换需要使用命令slot然后进入各个口进行type定义,之后需要重启。开启FCOE之后就可以启用新的FC口了。 reload:重启机器,保持VDC配置不变, copy start run。 restart:不重启机器,no vdc, copy start run。 bringdown:什么都不做,只将坏的sup关停。 switchover:SUP间切换。 NPIV-NPIV之间应该是E port???? qos是给input traffic分组打TAG,queuing负责bandwidth,network-qos负责对qos分组的数据进行再塑(qos class default没有cos标,所以如果是改MTU的话应该应用在class default上)。 1000v needs mtu to be applied under port-profile and qos needs to be in service policy under port-profile; 5k needs it to be applied in network-qos under “system qos - service policy”.

Continue reading

The initial series of line cards launched by Cisco for Nexus 7k series switches were M1 and F1. M1 series line cards are basically used for all major layer 3 operations like MPLS, routing etc, however, the F1 series line cards are basically layer 2 cards and used for for FEX, Fabric Path, FCoE etc. If there is only F1 card in your chassis, then you cannot achieve layer 3 routing.

Continue reading

Author's picture

LuLU

Love coding and new technologies

Cloud Solution Consultant

Canada