[速報]Amazonクラウド、データ統合サービスの「AWS Data Pipeline」を発表。データのバッチ処理、スケジューリングなどの自動化を実現。AWS re:Invent基調講演(Day2)

2012年11月30日

ラスベガスでイベント「re:Invent」を開催中のAmazon Web Services。2日目の基調講演ではハイメモリインスタンス、ハイストレージインスタンスの発表に続き、データ統合や処理のスケジューリングなどデータ分析作業の自動化が行える「AWS Data Pipeline」が発表されました。

AWS Data Pipelineは、Amazonクラウド内のさまざまなデータソースやオンプレミスのデータソースの複製や統合を行い、分析処理へと流しこみ、レポートを作成するという一連の処理を自動化。スケジュールによってルーチンワークに落とし込めるツールです。

より速くビジネスを改善するために、迅速な開発とその運用からのフィードバックを開発に反映するサイクルを素早く回す、いわゆるDevOpsの手法が用いられれます。このとき、適切なフィードバックを得るために多くの計測とその分析が欠かせません。AWS Data Pipelineは、こうしたクラウド時代の開発運用とビジネス展開を実現する上で重要なツールとして活用できます。

「AWS Data Pipeline」は、クラウドを活用することでビジネスを迅速に改善、展開することができるのだ、というAmazonクラウドの方向性を明確に示したサービスです。

「AWS Data Pipeline」はデータドリブンなワークフローを構築

Amazon.com CTO、Werner Vogels氏。

fig

データはDynamoDBやAmazon S3などさまざまな場所で発生し、保存されている。これら大量のデータを分析することは、データに基づくビジネスを実現する核心だ。

fig

それを助けるための新しいサービスを発表する。「AWS Data Pipeline」だ。これはデータドリブンなワークフローを構築する。

データの複製や別のデータベースへの移動、あるいはRedshiftで分析するといった処理を自動化し、スケジュールを設定し、レポーティング処理を実現する。サードパーティのツールやオンプレミスのデータにも対応する。

fig

デモ:ここではDynamoDBのデータ(左のデータベース)を、Amazon EMR(Elastic MapReduce)で処理してAmazon S3へ保存すると言った処理を、画面上でドラッグ&ドロップやメニュー操作で簡単に設定でき、これを毎週、あるいは毎日といったバッチ処理として設定することもできる。

fig

AWS re:Inventレポート

あわせて読みたい

AWS クラウド




タグクラウド

クラウド
AWS / Azure / Google Cloud
クラウドネイティブ / サーバレス
クラウドのシェア / クラウドの障害

コンテナ型仮想化

プログラミング言語
JavaScript / Java / .NET
WebAssembly / Web標準
開発ツール / テスト・品質

アジャイル開発 / スクラム / DevOps

データベース / 機械学習・AI
RDB / NoSQL

ネットワーク / セキュリティ
HTTP / QUIC

OS / Windows / Linux / 仮想化
サーバ / ストレージ / ハードウェア

ITエンジニアの給与・年収 / 働き方

殿堂入り / おもしろ / 編集後記

全てのタグを見る

Blogger in Chief

photo of jniino

Junichi Niino(jniino)
IT系の雑誌編集者、オンラインメディア発行人を経て独立。2009年にPublickeyを開始しました。
詳しいプロフィール

Publickeyの新着情報をチェックしませんか?
Twitterで : @Publickey
Facebookで : Publickeyのページ
RSSリーダーで : Feed

最新記事10本