HadoopはBI市場の破壊的テクノロジーになる

2010年6月2日

「Big Data」という言葉を見かけることが最近増えてきました。数テラバイトなど大規模なデータを表す言葉です。

このBig Dataをデータを分析し、有用な情報を見いだしてビジネス上の意志決定に活かそうというのがBI（ビジネスインテリジェンス）ですが、BIを実現するためにデータウェアハウスを構築し、OLAPなどの分析ソフトを導入するためのシステム構築は非常にコストのかかるものでした。大規模なデータを保存すること、そしてそれを高速に分析するためには高価で高性能なハードウェアとソフトウェアが必要でした。

そのBIの分野で新たなテクノロジーとして注目されているのがHadoopです。HadoopはBig Dataの保存と分析を、安価なコモディティサーバの集合体で実現します。その点が従来のBI市場にインパクトを与えつつあり、先月、BIツールとHadoopを統合しようとする動きが相次いで顕在化しました。

IBM、Pentaho、Cloudera、グーグルが相次いで表明

BIツールとHadoopの統合を打ち出した先月最大のニュースは、IBMが「InfoSphere BigInsights」を発表したことでしょう。

記事「Hadoopを表計算のように使える「InfoSphere BigInsights」、IBMが発表」でお知らせしたように、InfoSphere BigInsightsはバックエンドにHadoopを用いつつ、BigSheetsと呼ばれる機能を用いてWebブラウザから表計算のワークシートを操作する感覚でデータ分析を可能にしています。

また、オープンソースのBIツールとして知られる「Pentaho」も、先月5月19日にHadoopへの対応を発表しました。

Pentaho Harnesses Apache Hadoop to Deliver Big Data Analytics

PentahoとHadoopを組み合わせることで、Pentahoの持つグラフィカルなBIツールの操作によってMapReduceのプログラミングをすることなくデータ分析を可能にするようです。

Hadoopのディストリビューションを提供するベンダとして著名なClouderaもBI市場に向けたメッセージを出しつつあります。同社のブログに先月21日にポストされた「Considerations for Hadoop and BI (part 1 of 2)」から引用しましょう。

Hadoop is not a wholesale replacement for BI and we’re not replacing relational databases. Cloudera is helping our customers marry the power of Hadoop to existing tools

HadoopはBIをまるごと置き換えるものではないし、私たちはリレーショナルデータベースを置き換えようともしていない。Clouderaは既存のツールとHadoopのパワーをうまく組み合わせるお手伝いをしようとしているんだ

Cloudera自身がHadoopを含むBIツールベンダになることはまずないと思いますが、このようにBIの一部にHdoopを組み込んで使いたいという顧客をサポートする意向を表明しています。

このエントリはPart 1 of 2となっていますので、Part 2ではもしかしたら具体的な同社のBIに対するアプローチが説明されるのかもしれません。

また、Hadoopそのものではありませんが、グーグルが先月のイベント「Google I/O」で発表した「BigQuery」も、同社のクラウド上に展開したBig DataをSQLライクなインターフェイスで操作可能にするサービス。恐らくは内部でHadoopのような分散処理システムが稼働していることと推察されます（参考「グーグルによるMapReduceサービス「BigQuery」が登場。SQLライクな命令で大規模データ操作」）。

BigQueryは、大規模データ操作にSQLというよく知られた手法を開発者向けに提供していることが大きな要素になっています。

安価なハードウェアとオープンソースという破壊的テクノロジー

これら各社の発表内容はいずれも、Hadoopの操作とデータ分析を行う際の難しいプログラミングを排除し、分かりやすいインターフェイスを提供しようとしているところに共通点を見いだすことができます。Hadoopそのものの進化は今後も続くはずですが、その上位レイヤについても新たな進化が始まったと言えそうです。

かつて大規模なデータを扱う企業といえば、例えばすべての顧客の取引情報を記録することが求められる銀行やクレジットカード会社、電話会社など通信系の企業、あるいはコンビニエンスストアのような多店舗展開をしている小売業のPOSデータなどが中心でした。

しかし最近では、あらゆる企業がWebでサービスやサポートを提供し、あるいは広告やアンケート、クチコミなどのマーケティングを行っています。そうした企業にとってWebから生成されるログは顧客の行動、製品の評判、広告効果、売上げの動向などを分析するうえで不可欠なものです。そしてそのログは詳細にとればとるほど膨大なものになるため、いまや企業の規模に関係なくBig Dataの分析が必須になってきつつあります。

これによりBIのニーズと市場は大きく広がろうとしています。また、（Clouderaのブログでも指摘されていたように）従来のリレーショナルデータベースを基にしたBIとHadoopの得意な分野はそれほど重なっていません。いままでのBIだけではカバーできなかった分析がHadoopによって可能になる面もあり、それがBI市場をさらに拡大させる可能性も秘めています。

Hadoopはそうした広がるBI市場の中で、安価なハードウェアの組み合わせとオープンソースのソフトウェアという破壊的なソリューションを提供しようとしています。