Apache Kafkaがついにバージョン1.0に到達、オープンソース化から約7年。大量のデータを高速に収集できるメッセージ処理システム

大量のデータを高速に収集できるメッセージ処理システムとして知られる「Apaceh Kafka」が、正式バージョンとなる「Apache Kafka 1.0」に11月1日付けで到達したことが、Kafkaの主要な開発元であるConfluentから発表されました。

Apache Kafkaはスケーラビリティに優れ、大量のデータをリアルタイムに処理する機能を備えたソフトウェアです。

さまざまなアプリケーションやシステムから送られてくるログや大量のセンサーなどから生成されるデータなど、リアルタイムに送信されてくるストリームデータをいったんKafkaで受け止め、それをまとめてHadoopなどの分析エンジンに渡してデータの分析を行う、といった形で使われます。

また、その名称は「変身」などで知られる作家のフランツ・カフカにちなんだものとされています。

バージョン1.0では、Stream APIの強化、Java 9対応、メトリクスの改善、ディスク障害への対応改善などの改善が行われました。

1.0で、真に安定し成熟したエンタープライズ対応に

Apache Kafkaはオープンソースとして登場してから今回のバージョン1.0まで、約7年が経過しています。そしてすでに数年前から多くの本番システムで採用が始まっていました。

そうしたなかでのApache Kafkaがバージョン1.0は、真に安定し成熟したエンタープライズ対応版だと、Apache Kafkaプロジェクトマネジメントコミッティは次のように説明しています。

With this release, the Apache Kafka Project Management Committee is acknowledging that Kafka has truly become a stable, mature, and enterprise-ready Streaming Platform poised to continue serving users faithfully and evolving as stream processing plays a first-class role in enabling a central nervous system for all companies worldwide.

Apache Kafkaプロジェクトマネジメントコミッティは、今回のリリースにおいてKafkaが真に安定し成熟したエンタープライズ対応のストリーミングプラットフォームであることを認め、ストリーム処理が世界中のすべての企業にとって中枢的なものになるべく引き続き進化させていく。

LinkedInがオープンソース化。スピンアウトしたConfluentが商用化

KafkaはもともとLinkedInが2009年から社内で開発していたた分散メッセージキューイングソフトウェアです。2011年1月に同社がオープンソースとして公開しました。

• Open-sourcing Kafka, LinkedIn's distributed message queue | Official LinkedIn Blog

2011年7月にApacheがKafkaをインキュベーションプロジェクトとして採用し、2012年1月にApacheからの最初のリリースとなる「Apache Kafka 0.7」が登場します。

その後Kafkaは順調に機能強化やバグフィックスが行われていき、Kafkaはビッグデータ処理の広がりとともに、さまざまなシステムで採用されていきます。

2014年11月には、LinkedInのエンジニアがスピンアウトし、Kafkaの商用利用を推進するための企業「Confluent」を結成。Kafkaの主要な開発元となりました。

そのConfluentは、2017年9月にストリームデータをSQLで継続的に処理するSQLエンジン「KSQL」のデベロッパープレビューをオープンソースでリリースするなどKafkaの強化を積極的に推進しています。

• Apache Kafkaに対応したSQLエンジン「KSQL」リリース、ストリームデータをSQLで継続的に処理。Confluentがオープンソースで

そしてオープンソース化から6年10カ月となる2017年11月1日に、正式安定版として「Apache Kafka 1.0」がリリースされることとなりました。

Kafkaのビジョンは、ストリーミング処理のプラットフォームとして、ストリームデータをトランザクション的な整合性を保ったまま、読み書きや移動、そして分析や加工といった処理を行うこととされています。

バージョン1.0でそれはある程度の完成を見たものの、今後もさらにこのビジョンに沿って強化を続けていくとのことです。