V roce 1984 byl Washburn spolu s Johnem Williamsem (LSU) a Dannym Manningem (Kansas) jedním ze tří nejlepších středoškolských rekrutů v zemi. Podepsal smlouvu s North Carolina State University a spolu s budoucími hráči NBA Vinnym Del Negrem a Natem McMillanem vytvořili jeden z nejlepších náborů v zemi v týmu, jehož členem byl i Spud Webb. Nadaný atlet Washburn kombinoval velikost s rychlostí velkého muže a jemnýma rukama.
Během svého působení na N.C. State byl přistižen při krádeži stereofonního přístroje, za což byl odsouzen ke 46 hodinám vězení, pětiletému podmíněnému trestu a pětileté podmínce. Během soudního procesu předložil okresní prokurátor okresu Wake jako důkaz Washburnovy výsledky zkoušky SAT, které byly nižší než 500 bodů (z 1600, přičemž 400 bodů je výchozí skóre). „Tamní trenéři mi řekli: ‚Už jsi podepsal, už jsi ve škole, jen musíš udělat test, jen aby ses dostal na vysokou školu,'“ řekl později Washburn. Když mi řekli, že na výsledku nezáleží, šel jsem tam asi na 22 minut. Prostě jsem známkoval… známka, známka, známka.“
Zpochybňována byla i jeho pracovní morálka. Náborový analytik Bob Gibbons tvrdil, že Washburn „nikdy nebyl tak dobrý jako jeho pověst“, a to ani jako středoškolský All-American. Gibbons byl mnoha fanoušky N.C. State pranýřován za to, že naznačoval, že Washburn rozbije basketbalový program Wolfpack, což bylo reakcí na tvrzení trenéra Jima Valvana, že Washburn program vytvoří.
V celé sezóně, kterou Washburn odehrál za Wolfpack, měl průměr 17,6 bodu na zápas a 6,7 doskoku, přičemž se dělil o čas v přední části hřiště s budoucími hráči NBA Charlesem Shacklefordem a Chucky Brownem. Nejlepší výkon předvedl Washburn 23. února 1986 proti budoucí jedničce draftu NBA Bradu Daughertymu a UNC. Před celostátním televizním publikem Washburn nastřílel 26 bodů, když Wolfpack porazil tehdejší jedničku Tar Heels 76:65.
Washburnův případ byl jedním z mnoha, které podrobně popsal Peter Golenbock ve své knize Personal Fouls (Osobní fauly), jež v roce 1990 fakticky ukončila Valvanovu kariéru. Ačkoli několik chyb v knize nakonec vedlo nakladatelství Simon & Schuster k tomu, že od knihy upustilo (nakonec ji vydalo nakladatelství Pocket Books), nikdo nezpochybňoval, že Washburn byl špatný student. V lednu 1989 Richard Lauffer, bývalý vedoucí katedry tělesné výchovy na N.C. State, tvrdil, že Washburnovy známky byly změněny, aby si hráč zachoval způsobilost. Univerzitní poradce i dva členové oddělení tělesné výchovy následně uvedli, že prověřili Washburnovu složku a nenašli žádné důkazy, které by Laufferova tvrzení potvrzovaly.