Donate to arXiv

、Wen-mei Hwu、Kaushik Royアブストラクト：深いニューラルネットワークは広く採用されたが，トレーニングのコストがかかることからエネルギーと性能に対する要求は常に高まってきた． これまで，トレーニングの高速化のために，抵抗変化型RAM（ReRAM）クロスバーを用いたデジタルおよびデジタル・アナログのハイブリッドアーキテクチャが多数提案されてきた． ReRAMを用いたアクセラレータは、トレーニングでよく使われる行列とベクトルの乗算演算を実行する際にReRAMクロスバーが有効であることを実証しています。 しかし、重み勾配と更新ステップの実行にシリアルリード/ライトを使用するため、依然として非効率であるという問題があります。 いくつかの研究では、クロスバーにおける外積の可能性が示されており、シリアルリード/ライトを使用せずに重み勾配と更新のステップを実現するために使用することができる。 しかし、これらの研究は低精度演算に限定されており、典型的な学習ワークロードには十分ではない。 また、完全連結層に対する限られた学習アルゴリズムに限定されている。 これらの制限に対処するため、我々は、ReRAMベースの外積の精度を向上させるビットスライシング技術を提案する。この技術は、行列-ベクトル乗算のみのビットスライシングとは大きく異なる。 この技術は、異なる学習アルゴリズムに対応した3つのバリエーションを持つacrossbarアーキテクチャに組み込まれています。 また、ニューラルネットワークの層の種類（全結合型、畳み込み型など）や学習アルゴリズムに対する我々の設計を評価するために、コンパイラをサポートしたISAプログラマブル学習アクセラレータPANTHERを開発しました。 評価の結果、PANTHERは、digitalaccelerators, ReRAM-based accelerators, GPUsと比較して、それぞれ最大$8.02times$, $54.21times$, and $103times$ energy reductions, $7.16times$, $4.02times$, and $16times$実行時間短縮を達成することができました。