Title:PANTHER: A Programmable Architecture for Neural Network Training Harnessing Energy-efficient ReRAM
Stáhnout PDF
Abstrakt: The wide adoption of deep neural networks has been accompanied byever-increasing energy and performance demands due to the expensive nature oftraining them. K urychlení trénování byla navržena řada účelových architektur: digitálních i hybridních digitálně-analogových využívajících odporové příčky RAM(ReRAM). Akcelerátory založené na ReRAM prokázaly efektivitu ReRAM křížů při provádění operací násobení matic a vektorů, které jsou při tréninku běžné. Stále však trpí neefektivitou způsobenou používáním sériového čtení a zápisu pro provádění gradientu váhy a kroku aktualizace. Několik prací ukázalo možnost provádění vnějších součinů v křížových pásech, které lze použít k realizaci kroku gradientu a aktualizace váhy bez použití sériového čtení a zápisu. Tyto práce však byly omezeny na operace s nízkou přesností, které nejsou dostatečné pro čtyřicet typických tréninkových úloh. Navíc byly omezeny na omezenou množinutréninkových algoritmů pouze pro plně propojené vrstvy. Abychom tato omezení vyřešili, navrhujeme techniku bitového řezání pro zvýšení přesnosti vnějších součinů založených na pamětiReRAM, která se podstatně liší od bitového řezání pouze pro násobení matic a vektorů. Tuto techniku začleňujeme do architektury acrossbar se třemi variantami přizpůsobenými různým tréninkovým algoritmům. Abychom mohli náš návrh vyhodnotit na různých typech vrstev v neuronových sítích (plně propojené, konvoluční atd.) a tréninkových algoritmech, vyvinuli jsme PANTHER, tréninkový akcelerátor programovatelný pomocí ISA s podporou kompilátoru. Naše hodnocení ukazuje, že PANTHER dosahuje až 8,02násobného, 54,21násobného a 103násobného snížení spotřeby energie a 7,16násobného, 4,02násobného a 16násobného snížení doby provádění ve srovnání s digitálními akcelerátory, akcelerátory na bázi ReRAM a GPU.