[速報]Amazonクラウド、データ統合サービスの「AWS Data Pipeline」を発表。データのバッチ処理、スケジューリングなどの自動化を実現。AWS re:Invent基調講演(Day2)

2012年11月30日

ラスベガスでイベント「re:Invent」を開催中のAmazon Web Services。2日目の基調講演ではハイメモリインスタンス、ハイストレージインスタンスの発表に続き、データ統合や処理のスケジューリングなどデータ分析作業の自動化が行える「AWS Data Pipeline」が発表されました。

AWS Data Pipelineは、Amazonクラウド内のさまざまなデータソースやオンプレミスのデータソースの複製や統合を行い、分析処理へと流しこみ、レポートを作成するという一連の処理を自動化。スケジュールによってルーチンワークに落とし込めるツールです。

より速くビジネスを改善するために、迅速な開発とその運用からのフィードバックを開発に反映するサイクルを素早く回す、いわゆるDevOpsの手法が用いられれます。このとき、適切なフィードバックを得るために多くの計測とその分析が欠かせません。AWS Data Pipelineは、こうしたクラウド時代の開発運用とビジネス展開を実現する上で重要なツールとして活用できます。

「AWS Data Pipeline」は、クラウドを活用することでビジネスを迅速に改善、展開することができるのだ、というAmazonクラウドの方向性を明確に示したサービスです。

「AWS Data Pipeline」はデータドリブンなワークフローを構築

Amazon.com CTO、Werner Vogels氏。

fig

データはDynamoDBやAmazon S3などさまざまな場所で発生し、保存されている。これら大量のデータを分析することは、データに基づくビジネスを実現する核心だ。

fig

それを助けるための新しいサービスを発表する。「AWS Data Pipeline」だ。これはデータドリブンなワークフローを構築する。

データの複製や別のデータベースへの移動、あるいはRedshiftで分析するといった処理を自動化し、スケジュールを設定し、レポーティング処理を実現する。サードパーティのツールやオンプレミスのデータにも対応する。

fig

デモ:ここではDynamoDBのデータ(左のデータベース)を、Amazon EMR(Elastic MapReduce)で処理してAmazon S3へ保存すると言った処理を、画面上でドラッグ&ドロップやメニュー操作で簡単に設定でき、これを毎週、あるいは毎日といったバッチ処理として設定することもできる。

fig

AWS re:Inventレポート

Tags: AWS クラウド

このエントリーをはてなブックマークに追加
ツイート
follow us in feedly




タグクラウド(β版)

クラウド / AWS / Azure / Google Cloud
コンテナ / Docker / Kubernetes
クラウドネイティブ / サーバレス
クラウド障害 / 運用・監視

プログラミング言語 / 開発ツール
JavaScript / Java / .NET / WebAssembly
HTML/CSS / Web標準

アジャイル開発 / スクラム / DevOps / CI/CD
ソフトウェアテスト・品質
ローコード/ノーコード開発

データベース / RDB / NoSQL / 機械学習・AI
Oracle Database / MySQL / PostgreSQL
Office / 業務アプリケーション

ネットワーク / HTTP / QUIC / セキュリティ
OS / Windows / Linux / VMware
ハードウェア / サーバ / ストレージ

業界動向 / 働き方 / 給与・年収
編集後記 / 殿堂入り / おもしろ

全てのタグを見る

Blogger in Chief

photo of jniino

Junichi Niino(jniino)
IT系の雑誌編集者、オンラインメディア発行人を経て独立。2009年にPublickeyを開始しました。
詳しいプロフィール

Publickeyの新着情報をチェックしませんか?
Twitterで : @Publickey
Facebookで : Publickeyのページ
RSSリーダーで : Feed

最新記事10本