A 6’11” centro, Washburn foi um dos três maiores recrutas do país em 1984, juntamente com John Williams (LSU) e Danny Manning (Kansas). Ele assinou com a North Carolina State University, junto com os futuros jogadores da NBA Vinny Del Negro e Nate McMillan para formar uma das melhores turmas de recrutamento do país em uma equipe que também incluía Spud Webb. Um atleta talentoso, Washburn combinado tamanho com velocidade para um homem grande e mãos macias.
Durante seu tempo no N.C. State, ele foi pego roubando uma aparelhagem de som, o que resultou na sua condenação a 46 horas de prisão, uma pena suspensa de cinco anos e cinco anos de liberdade condicional. Durante o seu julgamento, o procurador do Wake County apresentou como prova os resultados do SAT de Washburn, que estavam abaixo de 500 (de 1600, sendo 400 a pontuação inicial). “Os técnicos ali me disseram: ‘Você já assinou, já está na escola, só tem que fazer o teste só para entrar na faculdade'”, disse Washburn mais tarde. Quando eles me disseram que não importava a nota que eu estava recebendo, eu entrei por cerca de 22 minutos. Eu só marquei… marca, marca, marca.”
A sua ética de trabalho também foi posta em questão. O analista de recrutamento Bob Gibbons alegou que Washburn nunca foi “tão bom quanto a sua reputação”, mesmo como um All-American de liceu. Gibbons foi desmascarado por muitos fãs do N.C. State por sugerir que Washburn iria quebrar o programa de basquete do Wolfpack, em resposta à alegação do treinador Jim Valvano de que Washburn faria o programa.
Na temporada completa, Washburn jogou com o Wolfpack, ele obteve uma média de 17,6 pontos por jogo e 6,7 rebotes, dividindo o tempo na quadra principal com os futuros jogadores da NBA Charles Shackleford e Chucky Brown. A melhor saída de Washburn foi contra os futuros líderes da NBA, Brad Daugherty e UNC, em 23 de fevereiro de 1986. Diante de uma audiência nacionalmente televisionada, Washburn marcou 26 pontos, enquanto o Wolfpack perturbava a então classificada #1 Tar Heels 76-65.
O caso de Washburn foi um dos muitos detalhados por Peter Golenbock em seu livro, Personal Fouls, que efetivamente acabou com a carreira de Valvano em 1990. Enquanto vários erros no livro acabaram por levar a editora Simon & Schuster a abandonar o livro (foi finalmente publicado pela Pocket Books), ninguém contestou que Washburn era um aluno pobre. Em janeiro de 1989, Richard Lauffer, um ex-presidente do departamento de educação física do Estado de N.C., alegou que as notas da Washburn tinham sido alteradas para manter a elegibilidade do jogador. Tanto o advogado da universidade como dois membros do departamento de educação física disseram subsequentemente que tinham revisto o processo de Washburn e não encontraram provas para apoiar as alegações de Lauffer.