O edifício principal foi projectado por Charles Barry, que mais tarde foi arquitecto para as Casas do Parlamento, e ainda se chama Barry Building. A pedra fundamental foi colocada pelo Conde de Egremont em 16 de março de 1826, e o hospital foi aberto como o Hospital do Condado de Sussex em 11 de junho de 1828. A Ala Victoria foi acrescentada em 1839, e a Ala Adelaide foi aberta em 1841. O Sussex County Hospital tornou-se o Royal Sussex County Hospital em aproximadamente 1911.
No dia de Ano Novo de 1872, um incêndio deflagrou no último andar da Ala Adelaide do hospital, na Ala 6. Inicialmente este incêndio ameaçou destruir o edifício, mas os esforços dos bombeiros voluntários e um destacamento do 19º Hussardos salvaram o edifício.
O Edifício Jubileu foi acrescentado ao hospital em 1887 e o Hospital Sussex Eye (um dos muitos edifícios Neo-Georgianos do arquiteto local John Leopold Denman) foi inaugurado em 1935.
Em outubro de 1984, após o bombardeio provisório do IRA ao Grand Hotel, onde membros do governo estavam hospedados durante a conferência anual do Partido Conservador, o hospital recebeu muitos dos feridos.
Em 2005, um episódio do programa de investigação da BBC Panorama apresentou material filmado secretamente por uma enfermeira e um jornalista disfarçado. O programa destacou falhas graves nos padrões de cuidados e procedimentos e mostrou cenas que foram descritas pelo Chefe Executivo do NHS Trust dos Hospitais Universitários Brighton e Sussex, que é responsável pelo hospital, como “imagens muito perturbadoras”.
O Edifício Millennium foi concluído em 2000 e o Edifício Audrey Emerton, construído para acomodar estudantes de medicina clínica da Escola de Medicina de Brighton e Sussex, foi aberto pela Baronesa Emerton em 2005. Em 2009 houve uma proposta para demolir os edifícios Barry e Jubileu como parte de um esquema de reabilitação de 300 milhões de libras esterlinas. Em 1 de Maio de 2014, foi aprovado um investimento público de 420 milhões de libras esterlinas para obras de reabilitação com início no final de 2014 e que deverá durar até 2024.
.