Titre:PANTHER : Une architecture programmable pour la formation de réseaux neuronaux exploitant une ReRAM économe en énergie
Download PDF
Abstract : L’adoption généralisée des réseaux neuronaux profonds s’est accompagnée d’une augmentation constante des demandes d’énergie et de performance en raison de la nature coûteuse de leur entraînement. De nombreuses architectures spécialisées ont été proposées pour accélérer la formation : à la fois numériques et hybrides numériques-analogiques utilisant des barres transversales de RAM résistive (ReRAM). Les accélérateurs basés sur la ReRAM ont démontré l’efficacité des barres transversales ReRAM pour effectuer les opérations de multiplication de matrice et de vecteur qui sont courantes dans la formation. Cependant, ils souffrent toujours d’un manque d’efficacité dû à l’utilisation de lectures et d’écritures en série pour effectuer le gradient de poids et l’étape de mise à jour. Quelques travaux ont démontré la possibilité d’effectuer des produits externes dans des barres transversales, qui peuvent être utilisées pour réaliser le gradient de poids et l’étape de mise à jour sans l’utilisation de lectures et d’écritures en série. Cependant, ces travaux ont été limités à des opérations de faible précision qui ne sont pas suffisantes pour les charges de travail typiques de la formation. De plus, ils ont été confinés à un ensemble limité d’algorithmes de formation pour les couches entièrement connectées uniquement. Pour remédier à ces limitations, nous proposons une technique de découpage en bits pour améliorer la précision des produits externes basés sur la ReRAM, qui est sensiblement différente du découpage en bits pour la multiplication matrice-vecteur uniquement. Nous incorporons cette technique dans l’architecture acrossbar avec trois variantes adaptées à différents algorithmes d’apprentissage. Pour évaluer notre conception sur différents types de couches dans les réseaux neuronaux (entièrement connectés, convolutionnels, etc.) et les algorithmes de formation, nous avons développé PANTHER, un accélérateur de formation programmable par ISA avec un support de compilateur. Notre évaluation montre que PANTHER réalise jusqu’à 8,02\times$, 54,21\times$ et 103\times$ de réduction d’énergie ainsi que 7,16\times$, 4,02\times$ et 16\times$ de réduction du temps d’exécution par rapport aux accélérateurs numériques, aux accélérateurs à base de ReRAM et aux GPU, respectivement.