Clădirea principală a fost proiectată de Charles Barry, care a fost mai târziu arhitect pentru Casele Parlamentului, și este încă numită Barry Building. Piatra de temelie a fost pusă de către Contele de Egremont la 16 martie 1826, iar spitalul a fost inaugurat ca Spitalul Județean Sussex la 11 iunie 1828. Aripa Victoria a fost adăugată în 1839, iar aripa Adelaide a fost deschisă în 1841. Spitalul Județean Sussex a devenit Spitalul Județean Regal Sussex în jurul anului 1911.
În ziua de Anul Nou 1872, un incendiu a izbucnit la ultimul etaj al Aripii Adelaide a spitalului, în Secția 6. Inițial, acest incendiu a amenințat să distrugă clădirea, dar eforturile pompierilor voluntari și ale unui detașament al celui de-al 19-lea husar au salvat clădirea.
Clădirea Jubilee a fost adăugată la spital în 1887, iar Spitalul oftalmologic din Sussex (una dintre numeroasele clădiri neo-georgiene ale arhitectului local John Leopold Denman) a fost inaugurat în 1935.
În octombrie 1984, după ce IRA Provizoriu a bombardat Grand Hotel, unde erau cazați membrii guvernului în timpul conferinței anuale a Partidului Conservator, spitalul a primit mulți dintre răniți.
În 2005, un episod al programului de investigație Panorama de la BBC a prezentat materiale filmate în secret de o asistentă și un jurnalist sub acoperire. Emisiunea a scos în evidență deficiențe grave în ceea ce privește standardele de îngrijire și procedurile și a arătat scene care au fost descrise de directorul executiv al Brighton and Sussex University Hospitals NHS Trust, care este responsabil pentru spital, ca fiind „imagini foarte tulburătoare”.
Clădirea Millenium a fost finalizată în 2000, iar clădirea Audrey Emerton, construită pentru a găzdui studenții la medicină clinică de la Brighton and Sussex Medical School, a fost inaugurată de baroneasa Emerton în 2005. În 2009 a existat o propunere de demolare a clădirilor Barry și Jubilee ca parte a unui proiect de reamenajare de 300 de milioane de lire sterline. La 1 mai 2014, a fost aprobată o investiție publică de 420 de milioane de lire sterline pentru lucrări de reamenajare care au început la sfârșitul anului 2014 și se preconizează că vor dura până în 2024.
.