Das Hauptgebäude wurde von Charles Barry entworfen, dem späteren Architekten der Houses of Parliament, und wird immer noch Barry Building genannt. Der Grundstein wurde am 16. März 1826 vom Earl of Egremont gelegt, und das Krankenhaus wurde am 11. Juni 1828 als Sussex County Hospital eröffnet. Der Victoria-Flügel wurde 1839 hinzugefügt, und der Adelaide-Flügel wurde 1841 eröffnet. Das Sussex County Hospital wurde um 1911 zum Royal Sussex County Hospital.
Am Neujahrstag 1872 brach im obersten Stockwerk des Adelaide Wing des Krankenhauses, in der Station 6, ein Feuer aus. Zunächst drohte das Feuer das Gebäude zu zerstören, doch dank des Einsatzes freiwilliger Feuerwehrleute und einer Abteilung der 19. Husaren konnte das Gebäude gerettet werden.
Das Jubilee Building wurde 1887 an das Krankenhaus angebaut, und 1935 wurde das Sussex Eye Hospital (eines der vielen neugeorgianischen Gebäude des örtlichen Architekten John Leopold Denman) eröffnet.
Im Oktober 1984, als die provisorische IRA das Grand Hotel bombardierte, in dem sich Regierungsmitglieder während des Jahreskongresses der Konservativen Partei aufhielten, nahm das Krankenhaus viele der Verletzten auf.
Im Jahr 2005 wurde in einer Folge der BBC-Untersuchungssendung Panorama heimlich gefilmtes Material einer Krankenschwester und eines verdeckten Journalisten gezeigt. Die Sendung wies auf schwerwiegende Mängel bei den Pflegestandards und Verfahren hin und zeigte Szenen, die der Geschäftsführer des Brighton and Sussex University Hospitals NHS Trust, der für das Krankenhaus verantwortlich ist, als „sehr verstörende Bilder“ bezeichnete.
Das Millennium-Gebäude wurde im Jahr 2000 fertiggestellt, und das Audrey Emerton Building, das zur Unterbringung von Medizinstudenten der Brighton and Sussex Medical School gebaut wurde, wurde 2005 von Baroness Emerton eröffnet. Im Jahr 2009 wurde vorgeschlagen, die Gebäude Barry und Jubilee im Rahmen eines 300 Millionen Pfund teuren Sanierungsplans abzureißen. Am 1. Mai 2014 wurden öffentliche Investitionen in Höhe von 420 Millionen Pfund für Sanierungsarbeiten genehmigt, die Ende 2014 beginnen und voraussichtlich bis 2024 dauern werden.