Amazonがディープラーニングのライブラリ「DSSTNE」をオープンソースで公開。TensorFlowよりも約2倍高速と主張

2016年5月12日

Amazon.comはディープラーニングを実現するライブラリ「Amazon DSSTNE」(Deep Scalable Sparse Tensor Network Engineの頭文字、読みはデスティニー)をオープンソースで公開しました。

GitHub - amznlabs/amazon-dsstne: Deep Scalable Sparse Tensor Network Engine (DSSTNE) is an Amazon developed library for building Deep Learning (DL) machine learning (ML) models

DSSTNEは本番環境のワークロードに対応したライブラリで、以下の特長があります。

マルチGPUスケール
学習と予測のどちらも、複数のGPUにスケールアウトし、レイヤごとにモデル並列化の方法で(model-paralles fashion)コンピューテーションとストレージを展開する

大規模レイヤ
モデル並列化のスケーリングは単一GPUを上回る大規模ネットワークが可能に

スパースデータ(Sparse Data)
DSSTNEはスパースデータセット(値がまばらにしか存在しないようなデータ群)を高速に処理するよう最適化されている。カスタムGPUカーネルが、GPUでの計算をゼロ値で埋め尽くすことなく処理する。

なぜAmazonがディープラーニングのライブラリを構築したのか、その理由については、何百万人もの買い物をする顧客に対して、大量の商品から適切にレコメンデーションを行うにはニューラルネットワークが求められると説明しています。

また、ほかのライブラリとは異なり、DSSTNEは最初から学習データとしてスパースデータを扱うことを想定して開発されました。そのため、スパースデータでは他のライブラリより高速だとのことです。

DSSTNE is much faster than any other DL package (2.1x compared to TensorFlow in 1 g2.8xlarge) for problems involving sparse data, which includes recommendations problems and many natural language understanding (NLU) tasks. DSSTNE is also significantly better than other packages at using multiple GPUs in a single server.

DSSTNEはほかのディープラーニングパッケージよりもスパースデータに関する処理が高速(g2.8xlargeの1インスタンスにおいてTensorFlowよりも2.1倍)で、これはレコメンデーションおよび多くの自然言語を理解する処理に関して。また、単一サーバで複数GPUを用いた場合も、DSSTNEはほかのパッケージより格段に優れている
Amazon DSSTNE: Q&Aから)

DSSTNEのライセンスはApache 2.0。

このエントリーをはてなブックマークに追加
follow us in feedly

タグ : Amazon , ディープラーニング



≫次の記事
RightScapeがDockerコンテナマネジメント機能を発表。マルチクラウドでのコンテナ展開を容易に
≪前の記事
ハイパーコンバージドは5年以内にメインストリームとなる。米ガートナー

Loading...

Blogger in Chief

photo of jniino Junichi Niino(jniino)
IT系の雑誌編集者、オンラインメディア発行人を経て独立。新しいオンラインメディアの可能性を追求しています。
詳しいプロフィール


Publickeyの新着情報をチェックしませんか?
Twitterで : @Publickey
Facebookで : Publickeyのページ
RSSリーダーで : Feed



Publickey 最新記事 10本

Publickey Topics 最新記事 10本


PR - Books


fig

fig

fig

fig