El edificio principal fue diseñado por Charles Barry, que más tarde fue arquitecto de las Casas del Parlamento, y todavía se llama Edificio Barry. La primera piedra fue colocada por el Conde de Egremont el 16 de marzo de 1826, y el hospital se inauguró como Hospital del Condado de Sussex el 11 de junio de 1828. El ala Victoria se añadió en 1839 y el ala Adelaide se inauguró en 1841. El Hospital del Condado de Sussex se convirtió en el Hospital Real del Condado de Sussex alrededor de 1911.
El día de Año Nuevo de 1872, se produjo un incendio en la planta superior del ala Adelaida del hospital, en la sala 6. Inicialmente este incendio amenazó con destruir el edificio, pero los esfuerzos de los bomberos voluntarios y un destacamento del 19º de Húsares salvaron el edificio.
El edificio Jubilee se añadió al hospital en 1887 y el Sussex Eye Hospital (uno de los muchos edificios neogeorgianos del arquitecto local John Leopold Denman) se inauguró en 1935.
En octubre de 1984, después de que el IRA Provisional bombardeara el Grand Hotel donde se alojaban los miembros del Gobierno durante la conferencia anual del Partido Conservador, el hospital recibió a muchos de los heridos.
En 2005, un episodio del programa de investigación de la BBC, Panorama, presentó material filmado en secreto por una enfermera y un periodista encubierto. El programa puso de manifiesto graves fallos en las normas de atención y procedimientos y mostró escenas que fueron descritas por el director ejecutivo del Brighton and Sussex University Hospitals NHS Trust, responsable del hospital, como «imágenes muy perturbadoras».
El edificio Millennium se terminó de construir en el año 2000 y el edificio Audrey Emerton, construido para albergar a los estudiantes de medicina clínica de la Brighton and Sussex Medical School, fue inaugurado por la baronesa Emerton en 2005. En 2009 se propuso la demolición de los edificios Barry y Jubilee como parte de un plan de reurbanización de 300 millones de libras. El 1 de mayo de 2014, se aprobó una inversión pública de 420 millones de libras para las obras de reurbanización que comenzaron a finales de 2014 y que se espera que duren hasta 2024.