AWS、超高性能なクラウド基盤を実現するために独自開発した技術を説明。AWS re:Invent 2019

2019年12月3日

Amazon Web Services(AWS)のデベロッパー向け年次イベント「AWS re:Invent 2019」が、米ラスベガスで開催中です。

基調講演の前夜に行われたセッション「Monday Night Live」には、AWSグローバルインフラストラクチャ&カスタマサポート担当VP、Peter DeSantis氏が登壇。

fig1

DeSantis氏は、従来は専用のスーパーコンピュータで行われてきたような超高速なコンピューティングをクラウドでも実現するためにAWSは投資をし続けてきており、クラウドを進化させてきたと指摘。

fig2

そのためにどのような技術がAWSのインフラで使われているのかを説明しました。

独自のスイッチやNitro Controllerで高性能ネットワークを実現

超高速な処理をクラウド上で実現する上でカギとなる技術の1つ目は、広帯域で低レイテンシなネットワークの実現です。

AWSはそのためにネットワークスイッチ機器と、それらを制御するためのソフトウェアを独自に開発。

第三世代にあたる2019年現在、展開されているネットワークの性能は、2013年に展開されていた第一世代にあたるネットワークの性能と比較して、6年で20倍も向上していることを示しました。

fig3

そのうえで、すべてのAmazon EC2マシンに搭載されているAWS独自の「Nitro Controller」は、サーバのCPUサイクルもキャッシュも、ネットワークもストレージも、すべて仮想化するものであり、これによって帯域やレイテンシなどのネットワーク性能をそれ以外の性能に依存せずに最適化し、かつ独立してスケールできる仕組みになっているとのこと。

fig4

Nitro Controllerとは、昨年のre:Inventで明らかにされた「Nitro System」の一部として、Amazon EC2のサーバに組み込まれているAWS独自のカスタムチップです。

TCPをバイパス、AWSに最適化されたプロトコルを利用可能

AWSはネットワークプロトコルにも手を入れているとDeSantis氏。

汎用の通信プロトコルとして使われているTCPは、OSのカーネルスペースで動作しており、しかもミリ秒の世界であるインターネットのために作られたプロトコルであり、HPCが要求するマイクロ秒の世界ではオーバーヘッドになるとDeSantis氏は指摘。

fig5

そこでAWSは独自に「Elastic Fabric Adapter」(EFA)と呼ばれる、AWSとNitro Controllerに最適化されたネットワーキングスタックを開発。

EFAをコミュニケーションライブラリとしてインスタンスに組み込むと、TCPの処理やカーネルをバイパスし、アプリケーションからNitro Controllerに通信内容を直接渡すことができるようになります。

Nitro Controllerは、内蔵された独自のトランスポートプロトコルである「SRD」(Scalable Reliable Datagram)を用いることで、一貫して広帯域で低レイテンシな通信を実現すると説明されました。

fig6

EFAとSRDを用いると、ベストケースでは当然ながらTCPよりも速く、ワーストケースであってもTCPのベストケースより速いことが示されました。

fig7

EFAは最小限の変更でアプリケーションに組み込み可能だとのこと。

fig8

米国海軍研究所はAWSの最新インスタンス群を用いて気象予報の処理を実行。

これまで使っていたオンプレミスのスーパーコンピュータの処理(チャートの青いライン。横軸でプロセッサが増えると、縦軸の処理時間が短くなる)よりも高い性能(チャートの赤いライン)を示したことが紹介されました。

fig9

DeSantis氏はまた、機械学習処理においてもAWSは高い性能を発揮することを解説。近々、AWSが機械学習専用に開発中のチップ「Inferentia」が登場することを明らかにしました。

fig10

AWS re:Invent 2019:バックナンバー

Monday Night Live

Keynote1 : by Andy Jassy AWS CEO

Keynote2 : by Werner Vogels Amazon.com CTO

このエントリーをはてなブックマークに追加
follow us in feedly




カテゴリ

Blogger in Chief

photo of jniino

Junichi Niino(jniino)
IT系の雑誌編集者、オンラインメディア発行人を経て独立。2009年にPublickeyを開始しました。
詳しいプロフィール

Publickeyの新着情報をチェックしませんか?
Twitterで : @Publickey
Facebookで : Publickeyのページ
RSSリーダーで : Feed


最新記事10本