Title:PANTHER: A Programmable Architecture for Neural Network Training Harnessing Energy-efficient ReRAM
Lataa PDF
Tiivistelmä: Syvien neuroverkkojen laajamittaiseen käyttöönottoon on liittynyt niiden kouluttamisen kalliin luonteen vuoksi alati kasvavat energia- ja suorituskykyvaatimukset. Koulutuksen nopeuttamiseksi on ehdotettu lukuisia erikoisarkkitehtuureja: sekä digitaalisia että hybridejä digitaalisia-analogisia, jotka käyttävät resistiivisiä RAM(ReRAM)-ristikoita. ReRAM-pohjaiset kiihdyttimet ovat osoittaneet, että ReRAM-ristikytkennät ovat tehokkaita koulutuksessa usein esiintyvien matriisi-vektorikertolaskuoperaatioiden suorittamisessa. Ne kärsivät kuitenkin edelleen tehottomuudesta, joka johtuu sarjalukujen ja -kirjoitusten käytöstä painogradientin ja päivitysvaiheen suorittamisessa. Muutamissa töissä on osoitettu, että ristipalkissa voidaan suorittaa ulkotuotoksia, joita voidaan käyttää painogradientin ja päivitysvaiheen toteuttamiseen ilman sarjalukuja ja -kirjoituksia. Nämä työt ovat kuitenkin rajoittuneet matalan tarkkuuden operaatioihin, jotka eivät riitä tyypillisiin koulutustehtäviin. Lisäksi ne ovat rajoittuneet rajoitettuihin koulutusalgoritmeihin vain täysin kytketyille kerroksille. Näiden rajoitusten poistamiseksi ehdotamme bittiviipalointitekniikkaaReRAM-pohjaisten ulompien tuotteiden tarkkuuden lisäämiseksi, joka eroaa huomattavasti bittiviipalointitekniikasta, jota käytetään vain matriisi-vektorikerroinlaskennassa. Sisällytämme tämän tekniikan acrossbar-arkkitehtuuriin, jossa on kolme muunnelmaa eri koulutusalgoritmeja varten. Arvioidaksemme suunnitteluamme neuroverkkojen erityyppisille kerroksille (täysin kytketty, konvoluutio jne.) ja koulutusalgoritmeille kehitimme PANTHERin, ISA-ohjelmoitavan koulutuskiihdyttimen, jossa on kääntäjän tuki. Arviointimme osoittaa, että PANTHER vähentää energiaa jopa 8,02 \times$, 54,21 \times$ ja 103 \times$ sekä suoritusaikaa 7,16 \times$, 4,02 \times$ ja 16 \times$ verrattuna digitaalisiin kiihdyttimiin, ReRAM-pohjaisiin kiihdyttimiin ja näytönohjaimiin.