AIデータセンターを支えるUEC輻輳制御：RoCEv2の限界とロスレス・アーキテクチャ設計

AIデータセンターでは、800Gおよび1.6T世代の光通信モジュール（Optical Module）を用いた大規模GPUクラスタの構築が進んでいます。

こうした環境ではRoCEv2によるRDMA通信が広く利用されていますが、通信規模の拡大に伴い、ECN・PFCベースの従来型輻輳制御ではテールレイテンシやPFCストームへの対応が課題になりつつあります。

こうした背景から注目を集めているのがUltra Ethernet Consortium（UEC）が提唱する次世代ロスレスネットワークアーキテクチャです。

本稿ではRoCEv2の構造的課題を整理しながら、UECの設計思想、実装メカニズム、さらにそれを支えるメモリ要件について解説します。

RoCEv2輻輳制御の基本構成と構造的限界

RoCEv2は、Ethernet資産を活かしながらRDMA通信を実現する技術として、AIやHPC向けクラスタで広く採用されています。ただし輻輳制御の仕組みは元来の想定規模を大きく超えるトラフィックに対応する必要に迫られており、ECN・PFCを組み合わせた既存メカニズムの限界が顕在化しつつあります。
特にAI学習クラスタでは、800G Optical Moduleや1.6T Optical Moduleを介して大量のGPU間通信が発生するため、輻輳制御性能がシステム全体の学習効率に大きく影響します

ECN/PFCとDCQCNによる輻輳制御の仕組み

RoCEv2では、輻輳発生時にIPヘッダーのECNフィールドへマーキングし、受信側から送信元へ通知パケットを送り返すことで送信レートを調整します。並行してPFCは、Ethernetのレイヤー2で優先度クラスごとに一時停止信号を送出し、バッファ溢れによるパケットロスを防ぎます。DCQCNは、このECNフィードバックをNIC側でAIMDアルゴリズムに反映し、輻輳を検知すると送信レートを直ちに絞り込み、収まれば緩やかに回復させる仕組みです。

PFCストームとECMPに起因する輻輳の偏り

PFCによる一時停止信号は、輻輳が発生したポートだけでなく上流のスイッチへ次々と伝播する性質を持ち、複数ポートが同時に停止状態へ陥るPFCストームを引き起こす場合があります。極端な場合はスイッチ間でパケット送出待ちが循環し、デッドロックに陥ることもあります。また、ECMPはフロー単位で経路を決定する分散方式であるため、AI学習のような長時間・大容量のフローが少数に偏る通信パターンでは、特定リンクへトラフィックが集中しやすく、輻輳の偏りが解消されにくいという課題も抱えています。
大規模AIデータセンターでは、All-Reduce通信などの集中的なトラフィックパターンが発生するため、ECMPによる経路分散だけでは十分な負荷分散を実現できないケースがあります。

リアクティブ制御によるテールレイテンシの拡大

DCQCNに代表される既存の輻輳制御は、パケットがスイッチを通過した後にECNマーキングを検知して初めて送信レートを調整するリアクティブ方式です。輻輳の発生から通知、レート調整までには一定の伝播遅延が伴うため、フローの完了時間そのものよりも、最も遅いフローの完了時間、すなわちテールレイテンシが問題になりやすくなります。数十万規模のエンドポイントを結ぶ通信環境では、一部のフローの遅延が全体の処理完了を待たせる要因となるため、この遅延の拡大は看過できない設計課題となっています。

UECが掲げるロスレス・アーキテクチャの設計思想

こうした構造的な制約を踏まえ、UECはスイッチ側に新たな機能を積み増すのではなく、エンドポイントであるNIC側に制御ロジックを集約し、スイッチの役割を極力縮小する設計思想を掲げています。パケット単位でのマルチパス転送や順序保証の見直しなど、輻輳への向き合い方そのものを再設計する点に大きな特徴があります。

スイッチ機能の縮小とNIC起点のステートレス設計

UECの設計思想では、輻輳制御に関わる複雑な判断や状態保持を可能な限りエンドポイント側のNICに集約し、スイッチには新たな処理を極力持たせないという方針が明確に打ち出されています。これは、数十万規模のエンドポイントを扱う環境において、スイッチ側に大量のフロー状態を保持させる設計では拡張性に限界が生じるためです。スイッチが担うのは基本的な転送機能にとどめ、輻輳への応答や再送制御といった複雑な処理はNIC側のステートレスな仕組みに委ねることで、大規模化に耐えるアーキテクチャを実現しようとしています。

パケット単位マルチパスとOut-of-Order許容

従来のECMPはフロー単位で経路を固定するため、特定の太いフローが同一経路に偏り、他のリンクが遊休状態になりやすいという課題がありました。これに対しUECでは、送信元となるNICが個々のパケットを複数の経路へ動的に振り分けるパケットスプレーイングを採用し、利用可能な帯域をより均等に使い切ることを目指します。パケット単位で経路が分散されると到着順序が入れ替わることが避けられませんが、UECはこれをあらかじめ許容する前提で設計されており、並び替えの処理は受信側のNICが担う形になっています。

テレメトリ前提の輻輳シグナリング

UECのアーキテクチャでは、キューの占有状況やリンク利用率、往復遅延時間といった詳細な状態情報を継続的に収集し、輻輳の兆候をより早期かつ正確に捉えることが前提とされています。従来のECNマーキングのように輻輳の有無を単純な二値信号で伝えるのではなく、輻輳の程度や発生箇所に関するきめ細かな情報をエンドポイント間でやり取りすることで、送信レートの調整をより精密に行えるようにする狙いがあります。こうしたテレメトリ前提の設計は、通信規模が大きくなるほど輻輳判断の精度が重要になるという認識に基づいています。
近年ではネットワークスイッチだけでなく、SmartNICやOptical Moduleから取得される診断情報やテレメトリ情報も運用最適化に活用されるようになっています。

UECを支える具体的な実装メカニズム

前項で触れた設計思想は、複数の具体的な実装メカニズムによって支えられています。接続管理の方式そのものを見直すPDC、パケットロス発生時の回復を効率化する選択的再送とパケットトリミング、そしてNICとスイッチそれぞれが担う役割の再定義が、その中心的な構成要素として位置づけられます。

PDCによる動的コネクション管理への転換

従来のRoCEv2では、通信を行うエンドポイントごとに永続的なQueue Pairを確立し、その状態を接続が続く間ずっと保持し続ける方式が採用されてきました。しかし通信相手の数が数十万規模に達するような環境では、この永続的な接続状態を維持するだけでも、NIC側に大きなメモリ負荷がかかってしまいます。これに対しUECでは、必要な時にだけ動的に生成し、不要になれば速やかに解放できるPDCという仕組みを採用することで、エンドポイント数の増加に対しても柔軟にスケールできる接続管理を実現しています。

選択的再送とパケットトリミングによる再送効率化

パケットロスが発生した場合、UECでは失われた範囲だけを選択的に再送する方式を採用しており、ロス発生時に広い範囲を再送していた従来方式と比べて、無駄な再送トラフィックを大きく抑えられます。あわせてパケットトリミングという手法も用いられており、輻輳時にスイッチがパケットのペイロードだけを切り捨ててヘッダー部分は転送することで、受信側にロスの発生とその位置を伝えつつ、完全な廃棄によって生じる再送の連鎖を防ぎます。これらの仕組みにより、輻輳が発生した際の回復にかかる時間を短縮しています。

NICとスイッチ間の役割再定義がもたらす設計インパクト

PDCによる動的な接続管理や選択的再送、パケットトリミングといった仕組みは、いずれも判断や状態保持の主体をエンドポイントであるNIC側へ寄せる方向で設計されています。その結果、スイッチに求められる役割は、複雑な輻輳判断を担う存在から、高速な転送とテレメトリ情報の収集・通知に特化した存在へと変化しつつあります。この役割分担の転換は、スイッチやNIC内部のバッファ設計や処理方式だけでなく、輻輳統計や設定パラメータをどのように保持するかというメモリ実装の在り方にも影響を及ぼします。
今後はSmartNICやDPUが担う機能の増加に伴い、ネットワーク制御の主体がサーバー内部へ移行する可能性も指摘されています。

輻輳制御高度化に伴うネットワーク機器内部メモリの実装要件

輻輳制御の高度化は、ネットワーク機器内部で扱うデータの性質にも変化を迫ります。輻輳統計やテレメトリ情報、動的に調整されるしきい値やパラメータは、電源断からも保護されつつ高頻度に書き換えられる必要があり、これを支えるメモリの選定はネットワーク機器の設計における重要な検討項目の一つになりつつあります。

統計・テレメトリデータの高頻度書き換えとメモリ耐久性

輻輳制御の高度化に伴い、ネットワーク機器内部では輻輳発生回数やドロップカウンタ、エラーカウンタといった統計情報を継続的に記録する必要が生じます。これらの値は数秒から数分単位という高い頻度で更新される一方、電源が断たれても保持され続けなければならないため、不揮発性メモリへの書き込みが避けられません。書き換え回数に上限のあるメモリを用いた場合、運用期間中に書き込み回数の上限へ達してしまうリスクがあり、長期運用を前提とする通信機器においては、書き換え耐久性そのものが選定上の重要な制約条件になります。
同様の要件は、AIデータセンター向け800G Optical Moduleや1.6T Optical Moduleでも見られます

輻輳しきい値・設定パラメータの不揮発性保持

運用中のネットワークでは、ECNマーキングを行う閾値やPFCを発動させる条件といった輻輳制御の各種パラメータを、通信状況に応じて動的に調整する運用が行われることがあります。こうした設定値は、統計情報ほど高頻度に書き換えられるわけではないものの、電源が再投入された際に確実に復元されなければ、輻輳制御そのものが意図した通りに機能しなくなるおそれがあります。そのため、書き込み時の速度や信頼性に加えて、電源断からの確実な保持を両立できるメモリが求められます。
また、SmartNICやDPU、Optical Moduleでは、各種設定値や診断情報を電源断後も保持する要件があり、高信頼な不揮発性メモリが重要になります。

高耐久・高速な不揮発性メモリとしてのFeRAMの適性

こうした要件を踏まえたとき、候補として挙がるのがFeRAM（強誘電体メモリ、FRAM）です。FeRAMは、EEPROMのように書き換え回数に厳しい制約を抱えるメモリと異なり、非常に高い書き換え耐久性を備えており、統計・テレメトリ情報のような高頻度の更新にも余裕を持って対応できます。また、書き込み動作自体もEEPROMと比べて高速であるため、統計値の更新やしきい値の書き換えといった記録処理にかかる時間を短く抑えられる点も強みです。

近年のOptical Moduleでは、

・CMIS管理情報
・FECエラーカウンタ
・リンク品質統計
・温度履歴
・イベントログ
・DSP設定情報

などの保持が求められています。

これらの情報も高頻度な更新と長期保存が必要であり、FeRAMの高耐久性と高速書き込み性能が活かせる用途の一つです。

まとめ

AIデータセンターの大規模化に伴い、RoCEv2ベースのネットワークには従来以上に高度な輻輳制御が求められています。

UECは、NICを中心とした新しいロスレスアーキテクチャによって、大規模GPUクラスタにおけるスケーラビリティやテールレイテンシの課題解決を目指しています。

また、こうした次世代ネットワークでは、テレメトリ情報や各種統計データの活用がますます重要になります。

高耐久かつ高速な不揮発性メモリであるFeRAMは、ネットワーク機器、SmartNIC、DPUだけでなく、800G/1.6T Optical Moduleにおける診断情報や運用データの保持用途としても有望な選択肢といえるでしょう。

RAMXEEDが提供するFeRAM製品一覧
https://www.ramxeed.com/jp/products/feram-products