Amazonがディープラーニングのライブラリ「DSSTNE」をオープンソースで公開。TensorFlowよりも約2倍高速と主張

Amazon.comはディープラーニングを実現するライブラリ「Amazon DSSTNE」（Deep Scalable Sparse Tensor Network Engineの頭文字、読みはデスティニー）をオープンソースで公開しました。

GitHub - amznlabs/amazon-dsstne: Deep Scalable Sparse Tensor Network Engine (DSSTNE) is an Amazon developed library for building Deep Learning (DL) machine learning (ML) models

DSSTNEは本番環境のワークロードに対応したライブラリで、以下の特長があります。

マルチGPUスケール
学習と予測のどちらも、複数のGPUにスケールアウトし、レイヤごとにモデル並列化の方法で（model-paralles fashion）コンピューテーションとストレージを展開する

大規模レイヤ
モデル並列化のスケーリングは単一GPUを上回る大規模ネットワークが可能に

スパースデータ（Sparse Data）
DSSTNEはスパースデータセット（値がまばらにしか存在しないようなデータ群）を高速に処理するよう最適化されている。カスタムGPUカーネルが、GPUでの計算をゼロ値で埋め尽くすことなく処理する。

なぜAmazonがディープラーニングのライブラリを構築したのか、その理由については、何百万人もの買い物をする顧客に対して、大量の商品から適切にレコメンデーションを行うにはニューラルネットワークが求められると説明しています。

また、ほかのライブラリとは異なり、DSSTNEは最初から学習データとしてスパースデータを扱うことを想定して開発されました。そのため、スパースデータでは他のライブラリより高速だとのことです。

DSSTNE is much faster than any other DL package (2.1x compared to TensorFlow in 1 g2.8xlarge) for problems involving sparse data, which includes recommendations problems and many natural language understanding (NLU) tasks. DSSTNE is also significantly better than other packages at using multiple GPUs in a single server.

DSSTNEはほかのディープラーニングパッケージよりもスパースデータに関する処理が高速（g2.8xlargeの1インスタンスにおいてTensorFlowよりも2.1倍）で、これはレコメンデーションおよび多くの自然言語を理解する処理に関して。また、単一サーバで複数GPUを用いた場合も、DSSTNEはほかのパッケージより格段に優れている
（Amazon DSSTNE: Q&Aから）

DSSTNEのライセンスはApache 2.0。