Hovedbygningen blev tegnet af Charles Barry, som senere var arkitekt for parlamentshusene, og den kaldes stadig Barry Building. Grundstenen blev lagt af jarlen af Egremont den 16. marts 1826, og hospitalet blev åbnet som Sussex County Hospital den 11. juni 1828. Victoria-fløjen blev tilføjet i 1839, og Adelaide-fløjen blev åbnet i 1841. Sussex County Hospital blev til Royal Sussex County Hospital omkring 1911.
På nytårsdag 1872 udbrød der brand på øverste etage i Adelaide Wing af hospitalet, i afdeling 6. I første omgang truede branden med at ødelægge bygningen, men indsatsen fra frivillige brandmænd og en deling af 19th Hussars reddede bygningen.
Jubilæumsbygningen blev føjet til hospitalet i 1887, og Sussex Eye Hospital (en af den lokale arkitekt John Leopold Denmans mange neo-georgianske bygninger) åbnede i 1935.
I oktober 1984, efter at det provisoriske IRA havde bombet Grand Hotel, hvor regeringsmedlemmer opholdt sig under det konservative partis årlige kongres, modtog hospitalet mange af de sårede.
I 2005 viste et afsnit af BBC’s efterforskningsprogram Panorama hemmeligt filmet materiale, der var optaget af en sygeplejerske og en undercoverjournalist. Programmet fremhævede alvorlige mangler i standarderne for pleje og procedurer og viste scener, der af den administrerende direktør for Brighton and Sussex University Hospitals NHS Trust, som er ansvarlig for hospitalet, blev beskrevet som “meget foruroligende billeder”.
Millenniumbygningen stod færdig i 2000, og Audrey Emerton-bygningen, der er bygget til at huse kliniske medicinstuderende fra Brighton and Sussex Medical School, blev indviet af baronesse Emerton i 2005. I 2009 var der et forslag om at rive Barry- og Jubilee-bygningerne ned som led i en ombygningsplan til 300 mio. pund. Den 1. maj 2014 blev der godkendt en offentlig investering på 420 mio. pund til ombygningsarbejder, der startede i slutningen af 2014 og forventes at vare indtil 2024.