［速報］マイクロソフト、「Azure Synapse」発表。BigQuery対抗の大規模並列データ処理サービス。Ignite 2019

2019年11月5日

フロリダ州オーランドで開催中のマイクロソフトのイベント「Microsoft Ignite 2019」が開催中です。

その基調講演において同社CEOのサティア・ナデラ氏は、大規模並列データ分析サービス「Azure Synapse Analytics」を発表しました。

同社は現在、大規模データウェアハウス向けのサービスとして「Azure SQL Data Warehouse」を提供していますが、「Azure Synapse」はそれをさらに発展させたもの。

データウェアハウス、ビッグデータ分析、データ統合などを1つのサービスとして統合し、事実上データ容量に上限がなく、ペタバイトクラスのデータでも高速に処理できる性能を提供します。

リレーショナルデータベースのような構造化されたデータおよび非構造化データのいずれにも対応し、SQLによって分析可能です。

そのために「Azure Synapse」では最初からクラウド専用としてアーキテクチャを見直して開発。コンピュートとストレージを独立させて、それぞれがスケールアウトできるようにし、さらにメモリ、SSD、HDDの階層化によって最適なコストパフォーマンスを実現したとしています。

デモでは、オンラインゲームサービスによって蓄積された約3ペタバイトの全プレイヤーのデータから、特定の機能を利用した25歳から27歳のユーザーの最大セッションタイムを求める、という検索を実行。

これは単純にデータをスキャンするのではなく、複数のテーブルのジョインが行われるなど複雑な検索内容となっています。

検索は9秒で終了し、結果が表示されました。

このとき内部ではインテリジェントな最適化が行われ、それによって数百のノードが並列に稼働することで処理が行われているとのこと。

デモでは同じ処理をBigQueryでは11分かかったと説明され、Azure SynapseがBigQuery対抗であることが示唆されました。