Apache Kafkaがついにバージョン1.0に到達、オープンソース化から約7年。大量のデータを高速に収集できるメッセージ処理システム

2017年11月14日


大量のデータを高速に収集できるメッセージ処理システムとして知られる「Apaceh Kafka」が、正式バージョンとなる「Apache Kafka 1.0」に11月1日付けで到達したことが、Kafkaの主要な開発元であるConfluentから発表されました

Apache Kafka

Apache Kafkaはスケーラビリティに優れ、大量のデータをリアルタイムに処理する機能を備えたソフトウェアです。

さまざまなアプリケーションやシステムから送られてくるログや大量のセンサーなどから生成されるデータなど、リアルタイムに送信されてくるストリームデータをいったんKafkaで受け止め、それをまとめてHadoopなどの分析エンジンに渡してデータの分析を行う、といった形で使われます。

また、その名称は「変身」などで知られる作家のフランツ・カフカにちなんだものとされています

fig

バージョン1.0では、Stream APIの強化、Java 9対応、メトリクスの改善、ディスク障害への対応改善などの改善が行われました。

1.0で、真に安定し成熟したエンタープライズ対応に

Apache Kafkaはオープンソースとして登場してから今回のバージョン1.0まで、約7年が経過しています。そしてすでに数年前から多くの本番システムで採用が始まっていました。

そうしたなかでのApache Kafkaがバージョン1.0は、真に安定し成熟したエンタープライズ対応版だと、Apache Kafkaプロジェクトマネジメントコミッティは次のように説明しています。

With this release, the Apache Kafka Project Management Committee is acknowledging that Kafka has truly become a stable, mature, and enterprise-ready Streaming Platform poised to continue serving users faithfully and evolving as stream processing plays a first-class role in enabling a central nervous system for all companies worldwide.

Apache Kafkaプロジェクトマネジメントコミッティは、今回のリリースにおいてKafkaが真に安定し成熟したエンタープライズ対応のストリーミングプラットフォームであることを認め、ストリーム処理が世界中のすべての企業にとって中枢的なものになるべく引き続き進化させていく。

LinkedInがオープンソース化。スピンアウトしたConfluentが商用化

KafkaはもともとLinkedInが2009年から社内で開発していたた分散メッセージキューイングソフトウェアです。2011年1月に同社がオープンソースとして公開しました。

2011年7月にApacheがKafkaをインキュベーションプロジェクトとして採用し、2012年1月にApacheからの最初のリリースとなる「Apache Kafka 0.7」が登場します

その後Kafkaは順調に機能強化やバグフィックスが行われていき、Kafkaはビッグデータ処理の広がりとともに、さまざまなシステムで採用されていきます。

2014年11月には、LinkedInのエンジニアがスピンアウトし、Kafkaの商用利用を推進するための企業「Confluent」を結成。Kafkaの主要な開発元となりました。

そのConfluentは、2017年9月にストリームデータをSQLで継続的に処理するSQLエンジン「KSQL」のデベロッパープレビューをオープンソースでリリースするなどKafkaの強化を積極的に推進しています。

そしてオープンソース化から6年10カ月となる2017年11月1日に、正式安定版として「Apache Kafka 1.0」がリリースされることとなりました。

Kafkaのビジョンは、ストリーミング処理のプラットフォームとして、ストリームデータをトランザクション的な整合性を保ったまま、読み書きや移動、そして分析や加工といった処理を行うこととされています。

バージョン1.0でそれはある程度の完成を見たものの、今後もさらにこのビジョンに沿って強化を続けていくとのことです。

このエントリーをはてなブックマークに追加
follow us in feedly

カテゴリ 機械学習 / AI / ビッグデータ
タグ  Apache Kafka


次の記事
「Prometheus 2.0」正式版リリース。クラウドやコンテナなど動的な分散環境に対応した統合監視ツール

前の記事
ワールドワイドのパブリッククラウド年間成長率は27.6%、アジア太平洋はもっとも成長率が高く、IaaS/PaaS/SaaSではPaaSが50%超の成長。2017年上半期、IDC


カテゴリ



Blogger in Chief

photo of jniino Junichi Niino(jniino)
IT系の雑誌編集者、オンラインメディア発行人を経て独立。2009年にPublickeyを開始しました。
詳しいプロフィール

Publickeyの新着情報をチェックしませんか?
Twitterで : @Publickey
Facebookで : Publickeyのページ
RSSリーダーで : Feed



新着記事 10本


PR - Books


fig

fig

fig