LTN Blog 〜 Lenovo Technology Network 〜

レノボのソリューション・サーバー製品に関する技術情報、お役立ち情報をお届けします

高速イーサネットの帯域を有効利用可能なテクノロジーUFP(Unified Fabric Protocol)について

皆さん、こんにちは レノボ・エンタープライズ・ソリューションズ 小宮です。本日は表題のテーマでお話をしたいと思います。

前回のブログにて高速Ethernetの必要性のお話させて頂いたかと思いますが、実際に高速ネットワークを有効的に利用しなければ意味はありません。

今回ご紹介するUFP(Unified Fabric Protocol)は、仮想環境におけるネットワーク環境を有効活用可能な技術になります。実際にはブレードサーバーなどで利用されるテクノロジーですが、ラックスイッチやラックサーバーでも利用可能な技術です。

Lenovoがスイッチ製品を取り扱う前からこの技術はすでに利用されておりました。

様々なワークロードを動作させる上で、アプリケーションによってはネットワーク帯域を必要とするものもあります。

それではUFPの説明に移りたいと思います。 

1.UFP(Unified Fabric Protocol)とは?

f:id:t_komiya:20190728223027p:plain

UFPを説明する前にVirtual Fabric Adapter(VFA)をご説明致します。

VFAは10Gb(以上の)イーサネットをポートを分割することで帯域を効率良く使用することができる機能です。

※UFPはVFAで動作する帯域分割する機能です。

 

VFAには柔軟かつ信頼性の高い各機能が備わっており以下のようなものがあります。

・アダプターッチポート間チャル チャネル(論理経路毎の
 
域制が可能

 UFP1Gbps以上100Mbps単位

 vNIC100Mbps単位

送信、受信、双方の通信で帯域制御が可能

ダイナミックな帯域制御値の割り当て変更が 可能

ハードウェアFCoE もしくはHW iSCSIサポート

 

複雑になりがちな仮想化環境においてVirtual Fabricならユーザーネットワーク環境の要求に対して柔軟に対応可能になります。

 

それでは、VFAおよびUFPの特徴については次のイメージでご説明致します。

2.UFP(Unified Fabric Protocol)の特徴

f:id:t_komiya:20190728223727p:plain

VFAとUFPの特徴として、いくつかのモードがあります。すべてのモードについてはせ説明はしませんが、UFPについては以下の機能が可能になっています。

  • 帯域制御値などの変更時にサーバー再起動が不要
  • 双方向(送受信)の帯域割り当ておよび制御が可能
  • 4つのモードで用途に合わせた柔軟な構成が可能
  • トンネルモード、トランクモード、アクセスモード、FCoEモード
  • UFPをサポートするLenovo Networking スイッチと10G以上のアダプターの
    組み合わせ

 

双方向で帯域制御ができることと4つのモード(Tagの制御などの違いになります)で仮想ネットワークをVLAN単位で帯域制御します。

4つのモードの詳細は以下のURLリンクのドキュメントをご参照ください。

http://www.lenovojp-cms.com/cmscontents/gdfiles.php?md=144

 

3.UFPの構成について

f:id:t_komiya:20190728224348p:plain

UFPを構成するにあたり、物理側のNIC(VFA)とハイパーバイザーにてVLAN設定を行います。また、物理スイッチ側でInnerとOuterでそれぞれ設定を行います。

物理側のスイッチ側では、入り側のVLANについて帯域制御の設定を行います。それに合わせてTaggingの設定も行う必要があります。

 

f:id:t_komiya:20190728224731p:plain

パケット構造については、InnerとOuterのタグについてそれぞれCuster TAG-VLAN とService TAGで制御を行います。設定行う際にいくつか制限があります。以下は制限の一部ですが、詳細は以下URLのドキュメントをご参照下さい。

 

・仮想ポートで設定できるVLANの最大数は256

・VLAN ID 4002~4005はサービスタグ(Outer-Tag)用に予約されているため、カスタマーVLANとして使用できません

・UFPを構成した仮想ポートを使ってVLAGを構成することはできません

https://flexsystem.lenovofiles.com/help/index.jsp?topic=/com.lenovo.acc.en4093.doc/IO_Module_EN4093R.html

4.UFPの帯域制御について

f:id:t_komiya:20190728225311p:plain

・従来のVNIC1テクノロジーや、他社類似技術は、厳格な帯域割り当てを実行するために、割り当て帯域の上限に到達した場合には、超過する部分についてはパケットドロップを実行しています。

・UFPテクノロジーでは新たに”Minimum(最低保証値)”および”Maximum(最大値)”の考え方を導入する ことにより、未使用状況の帯域が存在する場合には、最大値まで空き帯域を活用することが可能となりました。輻輳時には最低保障値の値をもとに帯域制御が行われます。

帯域制御が行われている図については、イメージをご参照ください。

その他、最低帯域と最大帯域については以下の説明をご参照ください。

最低帯域(min)
各仮想ポートのデフォルト値は2.5Gbps
– qos bandwidth {min <10-100>}の設定を明示的に行わなかった場合、この値が割り当てられた状態になります。
各仮想ポートに対し、割り当て可能な値は最低で1Gbps
100Mbps毎に帯域を設定可能
同じ物理ポート上の4つの仮想ポートで使用可能な最低帯域(min)の合計は、 最大で物理ポートの帯域(10Gbps)

 

最大帯域(max)
各仮想ポートのデフォルト値は10Gbps(qos bandwidth {max <10-100>}の設定を明示的に行わなかった場合、この値が割り当てられた状態になります)
100Mbps毎に帯域を設定可能
同じ物理ポート上の4つの仮想ポート全てで10Gbpsを指定可能

5.VLAGー仮想リンクアグリゲーション

f:id:t_komiya:20190728215214p:plain

HCIなどの構成でVLAGを構成する際は上記の構成を取ります。これはVLAGの動作を示していますが、一般的にサーバーから送信されるパケットは各スイッチ間で同期がとられながら、マックアドレスを登録していきます。

ですが、これがそのままUFPのトンネリング機能で使えるかそうかです。

f:id:t_komiya:20190728230634p:plain

UFPトンネルモードは同一物理ポート上の異なる二つ以上の vNIC(仮想ポート)が同じVLAN(S-TAG) に属することは出来ません。

つまり、アップリンクは1つのパススルードメインにのみ関連付けることができますが、複数のドメインで共有することはできません

この場合にどのように対処するのかをコンフィグもコンフィグも含めて記載します。

 

例:Lenovo CNOS上の802.1Qトンネリングモード

f:id:t_komiya:20190728230910p:plain

例えば802.1Qのトンネリングモードの場合はイメージのような構成にした上で、以下のようなコンフィグを行います。

【コンフィグ例】

!   Recommended to configure a host name - change as desired

hostname NE2572-1

! Disable STP since no loops

spanning-tree mode disable

!   Create desired VLAN (VLAN 1 exists by default)

vlan 3091

name "Tunnel-VLAN"

vlan 3090

name "vLAG-ISL-native"

!   Configure Server facing ports for access with Q-in-Q tunneling

int eth 1/1-46

desc "Server-Data-Ports"

switchport access vlan 3091

switchport mode dot1q-tunnel

!   Configure uplinks to be used as part of vLAG aggregation

int eth 1/47-48

desc vLAG-uplinks

switchport access vlan 3091

switchport mode dot1q-tunnel

channel-group 3001 mode active

!   Configure vLAG ISL links

int eth 1/53-54

desc vLAG-ISL

switchport mode trunk

switchport trunk native vlan 3090

switchport trunk allow vlan 3090,3091

channel-group 4001 mode active

!   Configure vLAG (healthcheck pointing at other mgmt. 0 address)

vlag enable

vlag tier-id 10

vlag isl port-channel 4001

vlag hlthchk peer-ip 192.168.50.52 vrf management

vlag instance 1 port-channel 3001 enable

!   Configure MGT for vLAG healthcheck and out of band management

int mgmt 0

ip add 192.168.50.51/24

! Configure default gateway for MGT port if needed

vrf context management

ip route 0.0.0.0 0.0.0.0 192.168.50.1

! Exit and save config

end

save

この設計/設定では、すべてのVLANタグ付きトラフィックはすべてのVLANを設定することなくLenovoスイッチを通過します。

 

例:Lenovo CNOS上のVLAN対応モード

f:id:t_komiya:20190728231223p:plain

この設計/設定では、すべて必要なVLANが事前に作成・許可されます。 この例においてはVLAN100~VLAN300を使用しています。

【コンフィグ例】

!   Recommended to configure a host name - change as desired

hostname NE2572-1

! Disable STP since no loops

spanning-tree mode disable

!   Create desired VLAN (100-300 will be used by ACI and hosts)

vlan 100-300

vlan 3090

name "vLAG-ISL-native"

!   Configure Server facing ports to allow all VLANs

int eth 1/1-46

desc "Server-Data-Ports"

switchport mode trunk

!   Configure uplinks to be used as part of vLAG aggregation

int eth 1/47-48

desc vLAG-uplinks

switchport mode trunk

channel-group 3001 mode active

!   Configure vLAG ISL links (similar to Cisco Peer-link in vPC)

int eth 1/53-54

desc vLAG-ISL

switchport mode trunk

switchport trunk native vlan 3090

channel-group 4001 mode active

! Configure vLAG (healthcheck pointing at other mgmt. 0 address)

vlag enable

vlag tier-id 10

vlag isl port-channel 4001

vlag hlthchk peer-ip 192.168.50.52 vrf management

vlag instance 1 port-channel 3001 enable

! configure MGT for vLAG healthcheck and out of band management

int mgmt 0

ip add 192.168.50.51/24

! Configure default gateway for MGT port if needed

vrf context management

ip route 0.0.0.0 0.0.0.0 192.168.50.1

! Exit and save config

end

save

 

6.UFPローカルドメインモードーアクセスとトランクf:id:t_komiya:20190728231731p:plain

UFPのローカルドメインモードの時のアクセスモードとトランクモードについてはイメージだけ載せておきます。VLANを通してそれぞれのポートへのアクセスも可能になりますし、InnerからのネットワークパケットもVLANを通じてOuterへ流れるようになります。

 

高速Ethernetの場合には、このような技術などを利用しながら、ワークロードが利用するネットワークを設計することをお薦めします。

 

以上、よろしくお願い致します。