インテル、過去最大のデータセンター戦略投資でクラウデラの筆頭株主に。Hadoopとインテルアーキテクチャをビッグデータ時代のプラットフォームにすべく

米インテルとHadoopのディストリビューションベンダーとして知られる米クラウデラは、インテルがクラウデラへ出資、インテルがクラウデラの戦略的な筆頭株主となることを発表しました。

これはインテルにとってデータセンター関連で過去最大の投資。

プレスリリースでクラウデラは次のように記し、同社のHadoopディストリビューションをインテルアーキテクチャへ最適化していくと説明しています。インテルは技術やマーケティングの面でこれを支援していくとのこと。

Cloudera will develop and optimize Cloudera’s Distribution including Apache Hadoop (CDH) for Intel architecture as its preferred platform and support a range of next-generation technologies including Intel fabrics, flash memory and security.

クラウデラは、Apache Hadoopのディストリビューション（CDH）を、インテルのアーキテクチャへ最適化する開発を行う予定で、そこにはインテルのファブリック、フラッシュメモリ、セキュリティなどを揃えたインテルの次世代テクノロジーへの対応も含まれている。

インテルはこれまで同社独自のHadoopディストリビューションを提供していましたが、これをクラウデラのディストリビューションへ統合する予定です。

Hadoopを分散処理のプラットフォームへと進化させてきた

インテルとクラウデラは何を実現しようとしているのでしょうか。それは、ビッグデータ時代における新たなソフトウェアプラットフォームとハードウェアプラットフォームの開発です。

クラウデラの共同設立者であるMike Olson氏は、インテルからの出資を受けて投稿したブログのエントリ「The Next Ten Years」で、MosaicブラウザがWebを創造したのと同じような劇的な変化をHadoopも起こしたと書いています。

That’s the way that the Mosaic browser created the world-wide web (and, as a side effect, the Apache Software Foundation), and it’s exactly what happened to Apache Hadoop.

MosaicブラウザがWorld Wide Webを創造したのと同じようなことが、まさにHadoopでも起きたのだ。

Olson氏の指摘の通り、Hadoop登場以前は分散アプリケーションの構築は困難で、一般的ではありませんでした。しかしHadoopの登場によってその状況は一変しました。

Olson氏はこのエントリで、HDFSとMapReduceによるバッチ処理中心のHadoopを、柔軟でリアルタイム処理にまで対応できるプラットフォームへと広げてきたと、これまでを振り返っています。

We started Cloudera with HDFS and MapReduce. Over the years, we added Apache HBase and Apache Accumulo for NoSQL support, Impala for real-time SQL analytics, Search based on Apache Solr for faceted text search, Oryx for machine learning and analytics and Apache Spark for streaming and analytic workloads. We’ve opened the platform to third-party engines from companies like Splunk and SAS.

ClouderaはHDFSとMapReduceから始めて、何年もかけてHBaseを追加し、AccumuloによってNoSQLをサポートし、リアルタイムSQL処理のためのImpalaを、テキストサーチのSolrを、機械学習のOryxを、ストリーミング処理のためにSparkを追加してきた。プラットフォームもオープンにし、SplunkやSASといったサードパーティのエンジンなどへ開放した。

つまりクラウデラはHadoop（正確には同社製品であるCDH）を、バッチ処理だけでなくリアルタイム処理もできて、SQLも使えてサードパーティの分析エンジンも載るような、ビッグデータの時代における分散処理のための新しいソフトウェアプラットフォームを目指して進化させてきているのです。

インテルの新しいアーキテクチャに必要なもの

一方でインテルもデータセンターに向けてコンピュータを進化させようとしています。これまでプロセッサ、メモリ、I/Oが1つの筐体にまとまっていた「サーバ」の境界をなくし、多数のプロセッサ、メモリ、ストレージなどのリソースをラック単位で共有、アプリケーションの要求に合わせてダイナミックに割り当ててしまう、というものです。

このインテルの新しいハードウェアアーキテクチャを活用するには、対応したソフトウェアプラットフォームが欠かせません。インテルはクラウデラへ出資することで、Hadoop（あるいはCDH）こそ、新しいソフトウェアプラットフォームにふさわしいと考えたのでしょう。

いまクラウドを支えるデータセンターでLinux OSとIAサーバが標準的なプラットフォームとして広く利用されています。この先、ビッグデータに対応した標準的なプラットフォームをHadoop（CDH）とIAラックへと進化させていくことが、インテルのクラウデラに対する戦略的投資が目指すものだといえます。