社団法人 電子情報通信学会 THE INSTITUTE OF ELECTRONICS, INFORMATION AND COMMUNICATION ENGINEERS 信学技報 TECHNICAL REPORT OF IEICE. 広域レイヤ 2 ネットワークにおける遅延揺らぎの小さいキューイング方式 米澤 和子 寺澤 緑 岡本 西田 昌弘 聡 清水 翔 荒川 豊 山中 直明 † 慶應義塾大学理工学部情報工学科 〒 223-8522 神奈川県横浜市港北区日吉 3-14-1 E-mail: †yonezawa@yamanaka.ics.keio.ac.jp あらまし 近年，広域イーサネットが普及している．広域イーサネットとは，LAN(Local Area Network) 技術を拡張 したもので, 離れた 2 拠点間の LAN をイーサネットを用い接続した技術である．広域イーサネットにおいてリアル タイム性を重視するアプリケーションを実現するためには，スイッチにおいて帯域・遅延・遅延揺らぎを制御可能な キューイング方式が必要である．各キューに Deficit Counter(DC) を設置し，帯域・遅延の制御を行う Deficit Round Robin(DRR) 方式は，リアルタイム性を重視するアプリケーションに多大な影響を及ぼす遅延揺らぎに関しては未考 慮であった．そこで本提案では，帯域・遅延・遅延揺らぎを同時に制御する，Loan-Deficit Round Robin 方式を提案 する．本方式は各キューに DC の他に最大遅延を制御するための Loan Counter(LC) を設置することにより，帯域・ 遅延の他に遅延揺らぎを制御するキューイングを可能とする．また計算機シミュレーションにより，L-DRR の帯域・ 遅延・遅延揺らぎ制御の効果を証明する． キーワード 広域イーサネット，キューイング，遅延揺らぎ，QoS Queuing Method for Guaranteed Delay Jitter in Wide Area Ethernet Kazuko YONEZAWA, Midori TERASAWA, Masahiro NISHIDA, Sho SHIMIZU, Yutaka ARAKAWA, Satoru OKAMOTO, and Naoaki YAMANAKA † Dept. of Information and Computer Science, Keio University 3-14-1 Hiyoshi Kohoku-ku Yokohama, Japan 223-8522 E-mail: †yonezawa@yamanaka.ics.keio.ac.jp Abstract In recent years, Wide Area Ethernet has become widespread. Wide Area Ethernet is a technique which was expanded from the Ethernet to connect two separated bases using Ethernet. Because Ethernet is a technique for Local Area Networks (LANs), we need a queuing method which controls bandwidth, delay, and delay jitter to use real-time applications in Wide Area Ethernet. The conventional method named Deficit Round Robin (DRR) can control bandwidth and delay. In DRR, a Deficit Counter (DC) is set at each queue to control the frame size which the queue is able to send. However, it is difficult to control the delay jitter which greatly affects strictly real-time applications like haptic technology. Accordingly, we propose a method named Loan-Deficit Round Robin (L-DRR). L-DRR controls bandwidth, delay, and delay jitter using not only DC but also a Loan Counter (LC) to control the maximum delay. Finally, we show how our method affects delay jitter using a computation simulation. Key words Wide Area Ethernet, Queueing, Delay Jitter，QoS 1. は じ め に を WAN(Wide Area Network) に拡張するためには，拡張性や 信頼性の観点から幾つかの問題を解決する必要がある．例えば 近年，イーサネット技術を用いて企業の拠点間を通信接続す QoS 保証，障害回復機能の実現等が挙げられる．また，帯域・ る広域イーサネットサービスが急速に普及している [1]．しか 遅延・遅延揺らぎ制御のないネットワークでは，リアルタイム し，従来の LAN(Local Area Network) におけるイーサネット 性を要するアプリケーションには不適切である．例えば，音声 —1— 通信には低遅延・低遅延揺らぎが要求される．一方，メディア 䊘䉟䊮䉺 ストリーミングは帯域確保・低遅延が要求される．またハプ ティック技術 [3] という，作用反作用の双方向技術を扱う厳密な リアルタイム性を要するアプリケーションには，帯域確保・低 Queue2 … 遅延・低遅延揺らぎが重要である．以上の要素をエンドツーエ Queue1 ンドにおいて実現するため，ネットワークの各スイッチにおい て，帯域・遅延・遅延揺らぎを制御可能なキューイングアルゴ Queuen リズムが重要となる． 図 1 Round Robin 従来，帯域と低遅延を制御したキューイング方式として， Deficit Counter を用いた Deficit Round Robin(DRR) 方式が 提案されている [2]．同方式は各キューの想定帯域に比例した値 を，各キューに設置した Deficit Counter へ一定時間毎に加算 し，DC の値とフレーム長を比較して送信制御を行うキューイ ング方式である．以上のようにフレーム長を考慮したフレーム 送信制御を行うことにより，フレームの平均遅延時間を短くし， 想定された帯域を満たすことが可能である．しかし同方式は， キュー長を考慮しないため，フレームがバースト的に到着した 場合は大きな遅延が生じてしまい，結果として遅延揺らぎが生 じることとなる． 図2 フレームサイズの違いによる遅延 そこで本研究では，低遅延揺らぎを実現するキューイング 方式として Deficit Couner に加え Loan Counter を用いた Loan-Deficit Round Robin(L-DRR) 方式を提案する．本方式 は Deficit Counter で達成している帯域・遅延制御機能を有し ながら，さらに各キューのキュー長に応じたキューイングを行 うことによって，キュー長の違いにより生じる遅延揺らぎを抑 制可能である．例えば，キュー長が長い場合，DC への加算値 を増加させ，キューの帯域幅を一時的に増加させる．増加さ せた帯域幅は LC へ記録し，キュー長の短い場合は逆にキュー の帯域幅を減少させることによって清算する．以上のように， キュー長に応じた単位時間当たりのキューからのデータ創出量 を制御することによって，フレームの平均遅延を減少させ，遅 延揺らぎも抑制することが可能となる．また LC によって一時 的に得た帯域を清算することにより，帯域の公平性も保つこと が可能である． 計算機シミュレーションにより提案方式が従来通りの帯域を 確保しながら，遅延・遅延揺らぎを抑制可能であることを示す． 本論文の構成を以下に示す．第 2 章で従来のキューイング方 式である Deficit Counter を用いた Deficit Round Robin につ いて説明する．第 3 章で提案方式である Loan Counter を用い たキューイングを説明し，第 4 章で特性評価を行う．最後に結 論を述べる． る．図 1 に Round Robin 方式の概要を示す．スイッチはフレー ム出力時，図 1 のようにポインタの指すキューからフレームを 出力する．フレーム出力後，ポインタは次のキューを指す．そし てポインタの指すキューから新たにフレームを送信する．ポイ ンタが指すキューにフレームが存在しない場合，次のキューに 移り，フレームを送信する．以上のように，キューはポインタ の指す場合のみフレームを送信することが可能となり，キュー は順番にフレームを出力することとなる． しかし RR の場合フレームサイズを考慮しないために，フ レームサイズの大きいフレームばかりを送信するキューがフ レームサイズの小さいフレームばかりを送信するキューに対し 遅延・帯域の面で有利になってしまう．図 2 に，フレームサイ ズの違いによるフレーム遅延の違いを示す．例えば図 2 におい て，4 つのフレームがほぼ同時に到着したとする．この場合， フレームはラウンドロビンに従い 1，2，3，4 の順に送信され る．Queue1 のフレームの待機時間は，Queue2 のフレームサ イズの小さいフレームを送信する時間のみとなるが，Queue2 は逆に Queue1 がフレームサイズの大きいフレームを送信し終 えるまで自身のフレームを送信することができない．以上のよ うに，フレームサイズを考慮したキューイングを行わないとフ レーム遅延において不公平性が発生してしまう． 2. 1. 2 Deficit Counter 2. 従 来 方 式 2. 1 Deficit Round Robin (DRR) 方式 本節では，従来のフレームキューイング方式である DRR を 用いたキューイング [2] について説明する．本方式は Deficit Counter を用いることにより，帯域を制御しながら，フレーム の遅延時間を抑制することを可能とする． 2. 1. 1 Round Robin(RR) DRR 方式は Round Robin を用いるキューイング方式であ DRR 方 式 は ，先 ほ ど の RR に 加 え 各 キュー に Deficit Counter(DC) を設置し，フレーム送信を制御する．DC は 各キューに設定された一定量 (アップ値) を一定時間毎に加算す るカウンタである．DC に貯まった値によって出力可能なフレー ムサイズを決定する．図 3 に Deficit Counter を用いたキュー イングについて示す．例えば図 3 に示すように，帯域 150Mbps と 300Mbps のキューが存在したとする．各キューには，アップ 値として帯域に比例して 15 と 30 という値が設定されている． —2— 150Mbit/secㅍାน⢻ 㸣 䉝䉾䊒୯:15 DC: 15 6 Guaranteed Bandwidth Mbps Ꮺၞ 150Mbps 7 30 Ꮺၞ 300Mbps 䊐䊧䊷䊛ㅍା 30 䉝䉾䊒୯:30 DC: 30 図 3 Deficit Counter を用いたキューイング 100Mbps 50Mbps 5 4 3 2 1 0 アップ値 15 は，1 秒間に 150Mbit のフレームを送信可能とす 0 50 100 る値である．アップ値は一定時間毎に各キューの DC へ加算さ れる．今，一度アップ値が加算された状態であるとし，そこへ 150 200 250 Queue Length Mbit 300 350 図 4 キュー長の違いによる遅延の差 フレームサイズが 30 のフレームが到着したとする．Queue1 は フレームサイズに対してカウンタの値が小さいため，フレーム を送信不可能である．それに対して，Queue2 はカウンタの値 がフレームサイズを上回っているため，フレームを送信可能で 3. 提 案 方 式 3. 1 前 提 ある．またフレーム送信後は，送信したフレームサイズの値を 本研究では，DRR 方式に加えさらに遅延揺らぎを制御する DC から減算する．以上のように DC の値によって帯域の大き 方式として，DC の他に Loan Counter(LC) を用いキューイン いキューから多くのフレームを送信可能にすることにより，フ グを行う Loan-Deficit Round Robin 方式 (LC-DRR) を提案 レームサイズの違いによる遅延をなくすことが可能となる． する．提案方式では，スイッチの出力ポートにおけるキューイ RR ではフレームサイズを考慮せずにポインタの指すキュー ングを想定している．出力ポートでは，キューの出力は DC に から順番にフレームを送信するのみだったが，DC を用いるこ よって制御されている．また，各 DC はアップ値という一定時 とにより，帯域とフレームサイズに対して公平にキューイング 間毎に加算される値を所持しており，アップ値によって帯域を を行うことが可能である．従って，フレームサイズの違いによ 制御することが可能である． る遅延の発生を防ぐことができる． 3. 2 LC-DRR の概要 またキュー長が 0 となったとき，DC はリセットされる．長 本方式では，キューに割り振られた帯域をキュー長に比例 時間フレームを送信しないキューが存在した場合，そのキュー して増減させることによって遅延揺らぎを制御する．増減さ に DC がむやみに溜まることを防ぐためである． せた帯域を記録するため，従来の DC に加え各キューに Loan 2. 2 DRR の問題点 Counter(LC) を各キューへ設置する．例えばフレームがバース 本方式を広域イーサネットにおいて用いた場合，帯域・遅延 ト的に到着した際は，保証帯域を上回る帯域を提供する．つま の面では公平なキューイングが可能である．図 4 にキュー長と り，DC へ加算する値，アップ値を一時的に増加させ，余分に提 遅延の関係を示す．図 4 のように，フレーム到着時のキュー長 供した帯域は，LC に記録する．LC に記録した帯域は，キュー が長くなればなるほど遅延時間が大きくなってしまう．ここで， 長が短い時に，帯域を減少させることによって清算する． キュー長とはキューで待機しているフレームの総サイズを示す 以上のように，キュー長を考慮して帯域幅を一時的に増減さ ものとする．つまり，キュー長の長い時に到着したフレームは せることにより，帯域を保証しつつキュー長に依存しない遅延 遅延時間が長く，逆にキュー長の短い時に到着したフレームは 時間を実現可能である． 遅延時間が短くなる．同一キューにおいてキュー長が長い時と 3. 2. 1 DC の増減による遅延揺らぎ制御 短い時が存在する場合，遅延に揺らぎが発生してしまう．以上 LC-DRR は，DC に一定時間毎に加算する値 (アップ値) を のようにフレームの遅延揺らぎが生じてしまうと，第一章で示 増減させることによりフレームの遅延揺らぎ制御を行う．アッ したリアルタイム性を要求するアプリケーションには不向きで プ値に加算する値を α とする． あるといえる．例えば音声通信の場合，遅延の揺らぎを生じて しまうと，会話に支障が出る恐れがある．またハプティックの 図 5 に提案方式の概要を示す．図 5 のようにフレームの到着 の際，各フレーム毎に α を計算する．α は 場合，遅延揺らぎによって本来の触覚と異なる触覚を伝えてし まう可能性がある．ハプティックとは，作用反作用の双方向通 信を必要とする触覚伝達技術である．またハプティックは遠隔 医療にも応用されるため，遅延揺らぎに特に厳密に対応する必 要がある [3]． α= A −x t (1) と定義する． A(Byte) はフレーム到着時のキュー長，t(sec) は遅延揺らぎ の上限，x(Byte/sec) はアップ値を示している．遅延揺らぎの上 限とは，許容される揺らぎの最大値である．例えば t = 500µsec とすると，500µsec の遅延揺らぎであれば許容できるというこ とを示す．遅延揺らぎを定めた上限値に抑えるため，一定時間 —3— LC: 䋫㱍 :LC: +9 t = 10䈱႐ว 䉝䉾䊒୯:15 䋫㱍 600 㱍=5 DC: 15 䉝䉾䊒୯:15 +9 200 300 㱍=1 15 +24 : DC: 100 140 㱍=-1 㱍=9 図 5 提案方式:Loan-Deficit Round Robin 図7 α の 加 算 䉝䉾䊒୯: 2 , t = 10 ᄢ ዊ 㱍>0 㱍=0 㱍<0 30 10 10 㱍=3 㱍=1 450Mbps(Queue2) Best Effort 150Mbps(Queue1) 㱍=-1 図6 α の 推 移 Queue2 300Mbps Queue1 100Mbps 毎にアップ値に加算する必要のある値を α によって計算して 図 8 α の上限値 いる． α の値は正の値にも負の値にもなり得る．図 6 に α の推移の 様子を示す．例えば，図 6 のように，x = 2 のアップ値，t = 10 の遅延揺らぎの上限とするキューが存在したとする．フレーム 算するたびに余分に使用した帯域を記録するため LC へ α を加 算する． 図 7 に，α の加算の様子を示す．図 7 では，アップ値 x = 15， サイズ 10 のフレームまでのキュー長は A = 10 である．よっ 遅延の上限値 t = 10 であるとする．フレームサイズ 140 のフ て，式 (1) より α = −1 となる．次のフレームは，A = 40 であ レームが初めて到着した場合，α = −1 と計算される．α の値 るため，α = 2 となる．また最後のフレームは同様に，α = 3 は負であるが，LC の値は 0 なので，アップ値への加算は行わ となる． ず通常の帯域を用いる．つまり，余分に利用した帯域がない状 以上のようにフレーム毎に計算した α のうちの最大値をアッ プ値へ加算する．α が正ならばアップ値は増加し，負ならばアッ プ値は減少する． 態なので，遅延の上限を達成するために必要な最低帯域以上の 帯域を用いる． ここで，フレームサイズ 100 のフレームが到着したとする． α は，その α を算出したフレームが送信されるまで保持され α = 9 と計算されるので，アップ値に 9 を加算し，一定時間毎 る．フレーム送信後は，キュー内のフレームが持つ最大の α を に DC へは 24 加算することとなる．また，DC へ 24 を加算す 検索し，新たな α として適用する．しかし，さらにキュー長が る度に，LC に α である 9 を加算する． 長くなり α の値が大きいフレームが到着した場合，アップ値 3. 2. 3 Best Effort 型への影響 に加算する α は更新され、より大きい α の値をアップ値へ加 本方式は，α の値によって遅延ゆらぎ制御を行うキューは， 算する．以上のようにキュー長が長くなった場合より大きい値 Best Effort 型の帯域を利用し帯域を増減させることを可能と をアップ値として DC へ加算することにより，フレームがバー する．つまり全てのキューが輻輳した場合を考え，Best Effort スト的に到着した際に帯域幅を一時的に増加させることがで の帯域幅に応じ各キューの使用できる α に上限を定める必要が き，結果キュー長に依存しないフレームの遅延時間を実現可能 ある． である． α の上限値は以下のように定める．最大帯域は，BestEffort 3. 2. 2 LC の増減による帯域の公平性の制御 用の帯域を BestEffort 以外のキューの帯域比を用いて分割し 本方式は，DC へ加減算した α の総量を LC を用い記録する て与えるものとする．例えば図 8 のように帯域が割り振られて ことにより，帯域の公平性を制御する． キュー長は初期の段階では 0 から開始する．その際 α は負の 値となるが，LC の値が 0 の際は，α の値に依らずアップ値は 常に 0 とする．フレームがバースト的に到着するとキュー長は 長くなり，キュー長が伸びるに従って α は大きくなる．α が正 の値となった場合，一定時間毎に DC に加算しているアップ値 に α を加算し，一定時間毎に DC への加算値を α 分増加させ， 帯域を一時的に増加させる．また，増加させた α は，DC へ加 いた場合，Queue1 の帯域:Queue2 の帯域 = 1 : 3 であるので， Best Effort 用の帯域 600Mbps のうち 150Mbps を Queue1 へ， 450Mbps をキュー 2 へ割り当てる． 以上のようにして輻輳時の最大帯域幅を定めた後，α の上限 値も最大帯域に合わせた値になるよう設定する． 4. 特 性 評 価 本章では，従来方式である DRR と提案方式の L-DRR を帯 —4— 1000 10000 Queue1-4(DRR) Best Effort(DRR) Queue1-4(LC-DRR : t = 500) Best Effort(LC-DRR : t = 500) Queue1-4(LC-DRR : t = 300) Best Effort(LC-DRR : t = 300) 9000 Queue1-4(DRR) Best Effort(DRR) Queue1-4(L-DRR : t = 500) 8000 400 Best Effort(L-DRR : t = 500) Queue1-4(L-DRR : t = 300) Best Effort(L-DRR : t = 300) 6000 usec Delay Jitter 7000 600 usec Average Delay 800 5000 4000 3000 2000 200 1000 0 0 0 0.1 0.2 0.3 0.4 0.5 0 0.6 0.1 0.2 0.3 0.4 0.5 0.6 Load Load 図 10 図 9 負荷と平均遅延の関係 遅延揺らぎの評価 700 域・遅延・遅延揺らぎの 3 つの点から比較し，評価する． 600 DRR LC-DRR : t = 500 LC-DRR : t = 300 本シミュレーションにおけるシミュレーション諸元を表 1 に ラヒックを用いる．平均帯域は，割り当て帯域と同等とする． Mbps 慮するため，フレームの到着頻度が一定時間ごとに変化するト Bandwidth 示す．本シミュレーションでは，トラヒックのバースト性を考 500 400 300 また，平均帯域から最大帯域 (最小帯域) までの増加 (減少) の 200 割り合いをを Load と定義する．例えば Load が 0.1 の場合， 100 Queue1 の最大帯域・最小帯域は次のように計算できる． 0 Best 50(M bps) × 1.1 = 55M bps(M ax) (2) 50(M bps) × 0.9 = 45M bps(M in) (3) 図 11 今回，遅延揺らぎの限界値は 500sec，300µsec の 2 つを評価 Queue1 Queue2 Queue3 Queue4 Effort 負荷と帯域の関係 着した際でも，提案方式を用いると遅延揺らぎを限界値近くに に抑えることが可能であることがわかる．しかし平均遅延の評 した． 価の際と同様に，Best Effort 型のフレームの揺らぎが，Load 表 1 シミュレーション諸元 キュー数 帯域幅 5 1Gbps Queue1: 50Mbps フレームサイズ フレーム到着間隔 が大きくなるにつれて大きくなることがわかる． 4. 3 提案方式における帯域の評価 図 11 に，Load=0.3 のときのキュー毎の利用帯域を示す． Queue2: 100Mbps 図 11 から 4 つのキュー全てにおいて，遅延揺らぎの限界値 Queue3: 150Mbps を 500µsec・300µsec と想定した両者共に従来方式と同様，想 Queue4: 200Mbps 定帯域の確保が可能であることを示している． 64Byte∼1500Byte ポアソン分布 (指数分布) 一定時間ごとに負荷を切り替え DC 加算への一定値 1µsec キューのバッファサイズ 1Mbit 5. 結 論 本研究では，広域レイヤ 2 ネットワークのための新たなキュー イング方式として，遅延揺らぎを制御するキューイング方式を 提案した． 従来のキューイング方式である Deficit Round Robin におい 4. 1 提案方式における平均遅延の評価 図 9 に，Load に対する平均遅延を示す． 図 9 から提案方式では，Load の値が大きくなるに従い，平均 遅延を十分に抑制可能であることがわかる．一方で，BestEffort の遅延が急激に増加していることがわかる．これは，BestEffort の帯域を使用して，他のキューがフレームを送信しているから である． 4. 2 提案方式における遅延揺らぎの評価 図 10 に，Load に対する平均遅延揺らぎを示す．遅延揺らぎ は，遅延の最大値と最小値の差を示す． ては，帯域・遅延の制御は可能であったが，遅延揺らぎの制御 は未考慮であり，フレームがバースト的に到着した際の遅延が 大きくなり，結果大きな遅延揺らぎが生じていた． そこで本研究では，キュー長の長い場合には一時的に帯域 を増加させ，キュー長の短い場合に増加せた分を清算させる Loan-Deficit Round Robin 方式を用いることにより，帯域・遅 延に加え，遅延揺らぎの制御も可能とするキューイング方式を 提案した． また，計算機シミュレーションによって，提案方式において 負荷の変化に伴う遅延・遅延揺らぎの変化，またその際の帯域 図 10 から，負荷の差が大きくなりフレームがバースト的に到 —5— の特性を評価し，提案方式において帯域・遅延・遅延揺らぎ制 御が可能であることを示した． 謝 辞 本研究を行うに当たり、レート制御技術のアドバイスをいた だいた、NTT ネットワークサービスシステム研究所の片山勝氏 に感謝いたします．本研究はグローバル COE プログラム「ア クセス空間支援基盤技術の高度国際連携（GCOE C-12) お よび科研費 １９３６０１７８（B) の助成を受けたものです． 文 献 [1] 阿留多伎 明良, ”広域イーサネット技術概論”, 電子情報通信学 会, pp18-31，Jun. 2005. [2] M. Shreedhar and George Varghese, ”Efficient Fair Queueing Using Deficit Round-Robin”IEEE/ACM TRANSACTIONS ON NETWORKING, VOL.4, NO3, pp.375-385, JUNE 1996． [3] Kenji Hikichi, Hironao Morino, Isamu Arimoto, Kaoru Sezaki, Yasuhiko Yasuda, ”The Evaluation of Delay Jitter for Haptics Collaboration over the Internet”Global Telecommunications Conference, 2002. GLOBECOM ’02. IEEE, VOL.2, pp.1492-1496, Nov. 2002． —6—
© Copyright 2024 Paperzz
