I 1654 købte Thomas Pell den jord, som palæet nu ligger på, af Siwanoy-stammen. Fire generationer af Pells boede på herregården, indtil den blev delt efter revolutionskrigen.
I 1836 købte Pell-familiens efterkommer Robert Bartow og hans kone, Maria Lorillard, en del af den gamle herregård og byggede et fashionabelt tre-etagers græsk revival palæ med en dramatisk fritstående vindeltrappe, der forbandt de elegante stuer i stueetagen med soveværelserne ovenpå. Bartow-Pell Mansion var omgivet af græsarealer, frugtplantager og græsplæner, der skrånede ned mod bugten.
Familien boede i huset i 50 år, indtil Bartows børn solgte ejendommen til byen New York i 1888 som en del af den nye Pelham Bay Park. I 1914 overtog den internationale haveklub palæet som sit klubhus og restaurerede og udvidede det. Klubben anlagde de elegante terrasser i 1916.
I 1936, i løbet af en af de varmeste somre nogensinde, flyttede borgmester Fiorello H. La Guardia sit personale nordpå til Bartow-Pell Mansion og styrede byens anliggender fra en telefonboks i kælderen. Ti år senere, i 1946, åbnede International Garden Club Bartow-Pell Mansion for offentligheden som museum.
I dag er interiøret blevet restaureret til dets udseende fra det 19. århundrede og har vigtige møbler fra New Yorks møbelsnedkere og malere fra denne periode. Bartow-Pell Mansion Museum er et nationalt historisk vartegn og et vartegn for New York City.
Mansionen ligger i Pelham Bay Park, den største park i New York City. Næsten 3.000 acres omfatter skov, marskland og klippekyst samt den 1,5 km lange Orchard Beach. Det varierede levested understøtter en mangfoldighed af dyreliv, herunder en sump, der er et førsteklasses miljø for trækfugle og rubinhalet kolibrier. Flere rødhalet høge har også deres hjem højt oppe i skovens træer, og havnesæler kan ses langs kysten i vintermånederne ved lavvande.
Bartow-Pell Mansion Museum er ejet af New York City Department of Parks & Recreation, drives af Bartow-Pell Conservancy og er medlem af Historic House Trust.