大規模分散データ処理フレームワーク「Apache Spark 1.6」正式リリース。メモリコンフィグレーションの自動化、静的型付けのDataset API、速度の向上も実現

2016年1月6日

高速な大規模分散処理のフレームワーク「Apache Spark」の新版となる「Apache Spark 1.6」正式版のリリースが発表されました

Announcing Spark 1.6 | Databricks Blog

Spark 1.6では、よく使われるデータフォーマットの1つであるParquetの読み込みに、新しいParquet Readerを導入。いくつかの処理のバイパスやコードの最適化を行った結果、ベンチマークでこれまで1秒あたり290万行の読み込み速度だったものを1秒あたり450万行まで、約50%改善したと説明されています。

また、1.6ではこれまで設定により固定されていた実行用のメモリ領域とキャッシュ用のメモリ領域の大きさを、新しいメモリマネージャの導入によって自動的に最適化できるように改善。手動での最適化を不要にし、実行速度の向上に貢献しました。

昨年導入された「DataFrame」とJavaVMのオーバーヘッドを改善する実行エンジンの「Project Tungsten」は、Sparkの実行速度の改善に寄与しました。Spark 1.6ではDataFrameを拡張したDataset APIが追加されました。Dataset APIでは、コンパイル時にデータの静的型付けチェックをすることで、ScalaやJavaの実行速度を向上させることが可能になっています。

このエントリーをはてなブックマークに追加
follow us in feedly

タグ : Hadoop , Spark , ビッグデータ



≫次の記事
Facebookとパナソニックが開発、コールドデータを長期間安全に保存する「freeze-ray」アーカイブシステムを発表
≪前の記事
トヨタ、自前の「トヨタ・ビッグデータ・センター」構築を発表。車載通信機からの膨大なデータ処理用に

Loading...

Blogger in Chief

photo of jniino Junichi Niino(jniino)
IT系の雑誌編集者、オンラインメディア発行人を経て独立。新しいオンラインメディアの可能性を追求しています。
詳しいプロフィール


Publickeyの新着情報をチェックしませんか?
Twitterで : @Publickey
Facebookで : Publickeyのページ
RSSリーダーで : Feed



Publickey 最新記事 10本

Publickey Topics 最新記事 10本


PR - Books


fig

fig

fig

fig



blog comments powered by Disqus