Den 1,80 meter stora centern Washburn var en av de tre bästa high school-rekryteringarna i landet 1984, tillsammans med John Williams (LSU) och Danny Manning (Kansas). Han skrev på för North Carolina State University, tillsammans med de framtida NBA-spelarna Vinny Del Negro och Nate McMillan för att bilda en av de bästa rekryteringsklasserna i landet i ett lag där även Spud Webb ingick. Washburn var en begåvad atlet och kombinerade storlek med snabbhet för en stor man och mjuka händer.
Under sin tid vid N.C. State blev han ertappad med att stjäla en stereoanläggning, vilket resulterade i att han dömdes till 46 timmars fängelse, ett femårigt uppskjutet fängelsestraff och fem års villkorlig dom. Under rättegången presenterade distriktsåklagaren i Wake County Washburns SAT-poäng som bevis, vilka låg under 500 (av 1 600, där 400 är utgångspoängen). ”Tränarna där borta sa till mig: ’Du har redan skrivit på, du går redan i skolan, du behöver bara göra provet bara för att komma in på college'”, sade Washburn senare. När de sa till mig att det inte spelade någon roll vilken poäng jag fick, gick jag in i ungefär 22 minuter. Jag bara markerade ner … mark, mark, mark.”
Hans arbetsmoral ifrågasattes också. Rekryteringsanalytikern Bob Gibbons hävdade att Washburn ”aldrig var så bra som hans rykte”, även som High School All-American. Gibbons blev utskälld av många N.C. State-fans för att han antydde att Washburn skulle bryta ner Wolfpacks basketprogram, som svar på tränaren Jim Valvanos påstående att Washburn skulle göra programmet.
Under hela säsongen som Washburn spelade med Wolfpack hade han ett snitt på 17,6 poäng per match och 6,7 rebounds, och han delade tid på den främre planhalvan med de blivande NBA-spelarna Charles Shackleford och Chucky Brown. Washburns bästa insats var mot det framtida bästa NBA-draftvalet Brad Daugherty och UNC den 23 februari 1986. Inför en nationellt sänd publik gjorde Washburn 26 poäng när Wolfpack besegrade den då rankade #1 Tar Heels med 76-65.
Washburns fall var ett av många som Peter Golenbock beskrev i sin bok, Personal Fouls, som effektivt avslutade Valvanos karriär 1990. Även om flera fel i boken så småningom fick förlaget Simon & Schuster att släppa boken (den publicerades slutligen av Pocket Books), var det ingen som ifrågasatte att Washburn var en dålig elev. I januari 1989 hävdade Richard Lauffer, en före detta ordförande för den fysiska utbildningsavdelningen vid N.C. State, att Washburns betyg hade ändrats för att bibehålla spelarens behörighet. Både universitetets rådgivare och två medlemmar av den fysiska utbildningsavdelningen sade senare att de hade granskat Washburns akt och inte funnit några bevis som stödde Lauffers påståenden.