Donate to arXiv

Download PDF

Resumé: Den brede anvendelse af dybe neurale netværk er blevet ledsaget af stadigt stigende krav til energi og ydeevne på grund af den dyre karakter af træningen af dem. Der er blevet foreslået adskillige specialarkitekturer til at fremskynde træningen: både digitale og hybride digital-analoge arkitekturer, der anvender resistive RAM (ReRAM) tværbjælker. ReRAM-baserede acceleratorer har vist, at ReRAM-crossbars er effektive til at udføre matrix-vektor-multiplikationsoperationer, som er fremherskende i træningen. De lider dog stadig under ineffektivitet på grund af brugen af seriel læsning og skrivning til udførelse af vægtgradienten og opdateringstrinnet. Nogle få værker har vist muligheden for at udføre ydre produkter i crossbars, som kan bruges til at gennemføre vægtgradient- og opdateringstrinnet uden brug af seriel læsning og skrivning. Disse arbejder har imidlertid været begrænset til operationer med lav præcision, som ikke er tilstrækkelige til typiske arbejdsbelastninger i forbindelse med uddannelse. Desuden har de været begrænset til et begrænset sæt træningsalgoritmer kun for fuldt forbundne lag. For at afhjælpe disse begrænsninger foreslår vi en bit-slicing-teknik til forbedring af præcisionen af ReRAM-baserede ydre produkter, som adskiller sig væsentligt fra bit-slicing for matrix-vektormultiplikation alene. Vi indarbejder denne teknik i en arkitektur med tre varianter, der er tilpasset forskellige træningsalgoritmer. For at evaluere vores design på forskellige typer lag i neurale netværk (fuldt forbundne, konvolutionelle osv.) og træningsalgoritmer udvikler vi PANTHER, en ISA-programmerbar træningsaccelerator med compilersupport. Vores evaluering viser, at PANTHER opnår energireduktioner på op til $8,02\times$, $54,21\times$ og $103\times$ samt reduktioner i udførelsestiden på $7,16\times$, $4,02\times$ og $16\times$ sammenlignet med henholdsvis digitalacceleratorer, ReRAM-baserede acceleratorer og GPU’er.