Title:PANTHER: A Programmable Architecture for Neural Network Training Harnessing Energy-efficient ReRAM
Download PDF
Abstract: Die weite Verbreitung von tiefen neuronalen Netzen geht mit immer höheren Energie- und Leistungsanforderungen einher, da ihr Training sehr teuer ist. Zahlreiche Spezialarchitekturen wurden vorgeschlagen, um das Training zu beschleunigen: sowohl digitale als auch hybride digital-analoge mit resistiven RAM(ReRAM)-Querbalken. ReRAM-basierte Beschleuniger haben die Effektivität von ReRAM-Kreuzschienen bei der Durchführung von Matrix-Vektor-Multiplikationsoperationen gezeigt, die beim Training häufig vorkommen. Sie leiden jedoch immer noch unter der Ineffizienz, die durch die Verwendung serieller Lese- und Schreibvorgänge für die Durchführung des Gewichtsgradienten und des Aktualisierungsschritts entsteht. Einige wenige Arbeiten haben die Möglichkeit aufgezeigt, äußere Produkte in Kreuzschienen auszuführen, mit denen der Gewichtsgradient und der Aktualisierungsschritt ohne serielle Lese- und Schreibvorgänge realisiert werden können. Diese Arbeiten beschränken sich jedoch auf Operationen mit geringer Genauigkeit, die für typische Trainingsaufgaben nicht ausreichend sind. Außerdem beschränken sie sich auf eine begrenzte Anzahl von Trainingsalgorithmen für vollständig verbundene Schichten. Um diese Einschränkungen zu überwinden, schlagen wir eine Bit-Slicing-Technik zur Verbesserung der Genauigkeit von ReRAM-basierten äußeren Produkten vor, die sich wesentlich von der Bit-Slicing-Technik für die reine Matrix-Vektor-Multiplikation unterscheidet. Wir integrieren diese Technik in die acrossbar-Architektur mit drei Varianten, die auf verschiedene Trainingsalgorithmen abgestimmt sind. Zur Evaluierung unseres Designs für verschiedene Arten von Schichten in neuronalen Netzen (vollverknüpfte Schichten, Faltungsschichten usw.) und Trainingsalgorithmen haben wir PANTHER entwickelt, einen ISA-programmierbaren Trainingsbeschleuniger mit Compilerunterstützung. Unsere Evaluierung zeigt, dass PANTHER im Vergleich zu digitalen Beschleunigern, ReRAM-basierten Beschleunigern und GPUs eine Energieeinsparung von bis zu 8,02 $, 54,21 $ und 103 $ sowie eine Verringerung der Ausführungszeit um 7,16 $, 4,02 $ und 16 $ erreicht.