ストリームデータをリアルタイム処理するプラットフォーム「Amazon Kinesis」を発表。1時間あたり5ドルでリアルタイムなツイートデータを分析可能。AWS re:Invent 2013

2013年11月18日

Amazon Web Servicesが主催するイベント「AWS re:Invent 2013」、基調講演の最後に発表されたのは、リアルタイム処理を行うプラットフォームとなる「Amazon Kinesis」でした。

Kinesisは、大量に発生するリアルタムデータを漏らさず永続化し、そこから必要なデータをアプリケーションに流すフィルタとして動作するようです。実際のデータ処理は、Kinesisからデータを受け取ったアプリケーションが行います。

2日目の基調講演で披露されたKinesisの説明をまとめました。

Amazon Kinesisを発表

Amazon.com CTO Werner Vogels氏。

fig

データを正確にリアルタイムに処理していくというのは、私たちにとって大きな挑戦だ。ビッグデータを分析し、昨日何が起きたのかではなく、いま何が起きているのかを知ることの方が明らかに重要だからだ。

いま何が話題になっていて、お客様にいまどのように対応できるのか。いま何をレコメンドできるのか。そのためにデータをリアルタイムで処理しなければならない。

大量のデータを確実に集め、分析する。Hadoopはそうした分析に非常に優れているが、リアルタイム処理には向いていない。一方で、リアルタイム処理のための分散メッセージングフレームワークもあるが、大量のデータを高い信頼性で受け付けるには不足だ。

fig

私たちは、大規模なストリーミングデータ処理を誰でもできるようにしようと思う。そこで、まったく新しいAWSのサービスを発表する。「Amazon Kinesis」だ。

どんなスケールのデータでもリアルタイムに処理する。

fig

詳しく見てみよう。

まず、送られてくる大量のリアルタイムデータに対して「Kinesis Stream」を作成する。これは複数のアベイラビリティゾーンで構成される信頼性の高いストレージだ。

これがストリームデータをリアルタイムで確実に受け止める。このKinesis Streamをスケールアウトすることでより大容量でハイスピードのデータにも対応できる。

Kinesis Streamにはさまざまな形式のデータが送り込まれてくるが、Kinesis Applicationには、Kinesis Streamから必要なデータタイプだけを送ることができる。

fig

そして他のストレージやStormのようなリアルタイム処理に人気の処理系などと統合し、アプリケーションを作ることができる。

fig

Kinesisはどんなスケールで、どんなスピードでデータが送り込まれてきても、正確にすべてをリアルタイムに補足し、Stormのような処理系に送り込むことができる。

実際のAmazon Kinesisデモを見ていただこう。

KinesisとDynamoDB、Redshift、RDSを連係

デモとして、TwitterからのストリームデータをKinesisを使って処理してみよう。

KinesisはTwitterからのツイートデータを1つ残らず受け取り、複数のデータセンターで即座にパーシスタンス(永続的)なデータとする。そしてそれをリアルタイム処理アプリケーションへと提供するのだ。

fig

このデータをKinesisからDynamoDBのアプリケーションに送り込んでリアルタイム分析しよう。DynamoDBのカウント機能を使って、人気のキーワードをリアルタイムで簡単にリストアップできる。

宇宙関係の人気キーワードの中から、私の好きな“mars”というキーワードを選んでみよう。

fig

marsがなぜ人気のキーワードになっているのか、関連をさぐる。今度はKinesisアプリとしてRedshiftを使ってみよう。

Kinesisの強力なストレージ機能とチェックポイントによって、過去2日間のデータをKinesisからRedshiftに送り込む。

fig

Redshiftの分析能力によってデータを分析すると……marsに関連していたのは“bruno”、つまり歌手のbruno marsということのようだ(笑)

fig

では、Bruno Marsのツイートは地理的にどこから来ているのか? 今度はKinesisにAmazon RDSのPostgreSQLを接続し、位置分析をしてみよう。

fig

Bruno Marsのファンは全米に散らばっているが、特に西海岸に多いようだ。

fig

このようにKinesisにさまざまなアプリケ―ションを接続して、リアルタイムデータの分析を行うことができる。

ここでお見せしたリアルタイム分析アプリケーションは、私(デモ担当のAWSテクニカルアドバイザー Khawaja Shams氏)ともう1人で、わずか1週間で作り上げた。しかも本番環境での費用は1時間あたりわずか5ドルだ。

ぜひこのソフトウェアで何ができるのか、考えてみていただきたい。

AWS re:Invent 2013

このエントリーをはてなブックマークに追加
follow us in feedly


関連タグ AWS / クラウド



タグクラウド(β版)

クラウド / AWS / Azure / Google Cloud
コンテナ / Docker / Kubernetes
クラウドネイティブ / サーバレス
クラウド障害 / 運用・監視

プログラミング言語 / 開発ツール
JavaScript / Java / .NET / WebAssembly
HTML/CSS / Web標準

アジャイル開発 / スクラム / DevOps / CI/CD
ソフトウェアテスト・品質
ローコード/ノーコード開発

データベース / RDB / NoSQL / 機械学習・AI
Oracle Database / MySQL / PostgreSQL
Office / 業務アプリケーション

ネットワーク / HTTP / QUIC / セキュリティ
OS / Windows / Linux / VMware
ハードウェア / サーバ / ストレージ

業界動向 / 働き方 / 給与・年収
編集後記 / 殿堂入り / おもしろ

全てのタグを見る

Blogger in Chief

photo of jniino

Junichi Niino(jniino)
IT系の雑誌編集者、オンラインメディア発行人を経て独立。2009年にPublickeyを開始しました。
詳しいプロフィール

Publickeyの新着情報をチェックしませんか?
Twitterで : @Publickey
Facebookで : Publickeyのページ
RSSリーダーで : Feed


最新記事10本