Päärakennuksen suunnitteli Charles Barry, joka oli myöhemmin parlamenttitalon arkkitehti, ja sitä kutsutaan edelleen Barry Buildingiksi. Egremontin jaarli laski peruskiven 16. maaliskuuta 1826, ja sairaala avattiin Sussexin kreivikunnan sairaalana 11. kesäkuuta 1828. Victoria-siipi lisättiin vuonna 1839, ja Adelaide-siipi avattiin vuonna 1841. Sussexin kreivikunnan sairaalasta tuli Royal Sussex County Hospital noin vuonna 1911.
Uudenvuodenpäivänä 1872 syttyi tulipalo sairaalan Adelaide-siiven ylimmässä kerroksessa, osasto 6:ssa. Aluksi tulipalo uhkasi tuhota rakennuksen, mutta vapaaehtoisten palomiesten ja 19. husaarien osaston ponnistelut pelastivat rakennuksen.
Sairaalaan lisättiin vuonna 1887 Jubilee Building -rakennus, ja vuonna 1935 avattiin Sussexin silmäsairaala (yksi paikallisen arkkitehdin John Leopold Denmanin monista uusgeorgialaisista rakennuksista).
Lokakuussa 1984, kun väliaikainen IRA pommitti Grand-hotellia, jossa hallituksen jäsenet yöpyivät konservatiivipuolueen vuosikokouksen aikana, sairaala otti vastaan monia loukkaantuneita.
Vuonna 2005 BBC:n tutkivan ohjelman Panorama jaksossa esiteltiin sairaanhoitajan ja peitetehtävissä olleen toimittajan salaa kuvaamaa materiaalia. Ohjelmassa tuotiin esiin vakavia puutteita hoitostandardeissa ja menettelytavoissa ja näytettiin kohtauksia, joita sairaalasta vastaavan Brighton and Sussex University Hospitals NHS Trustin toimitusjohtaja kuvaili ”hyvin häiritseviksi kuviksi”.
Millennium-rakennus valmistui vuonna 2000, ja Audrey Emerton -rakennuksen, joka rakennettiin Brightonin ja Sussexin lääketieteellisen tiedekunnan kliinisen lääketieteen opiskelijoiden majoittamista varten, avasi paronitar Emerton vuonna 2005. Vuonna 2009 ehdotettiin Barry- ja Jubilee-rakennusten purkamista osana 300 miljoonan punnan saneerausohjelmaa. Toukokuun 1. päivänä 2014 hyväksyttiin 420 miljoonan punnan julkiset investoinnit saneeraustöihin, jotka alkoivat vuoden 2014 lopulla ja joiden odotetaan kestävän vuoteen 2024.