Im Jahr 1654 erwarb Thomas Pell das Land, auf dem sich das Herrenhaus heute befindet, vom Stamm der Siwanoy. Vier Generationen von Pells lebten auf dem Anwesen, bis es nach dem Revolutionskrieg aufgeteilt wurde.
Im Jahr 1836 erwarben Robert Bartow, ein Nachkomme der Familie Pell, und seine Frau Maria Lorillard einen Teil des alten Anwesens und bauten ein modernes dreistöckiges Herrenhaus im neugriechischen Stil mit einer dramatischen freistehenden Wendeltreppe, die die eleganten Salons im Erdgeschoss mit den darüber liegenden Schlafzimmern verbindet. Das Bartow-Pell Mansion war von Weideland, Obstgärten und Rasenflächen umgeben, die zur Bucht hin abfielen.
Die Familie bewohnte das Haus 50 Jahre lang, bis die Kinder der Bartows das Anwesen 1888 als Teil des neuen Pelham Bay Park an die Stadt New York verkauften. 1914 übernahm der International Garden Club das Herrenhaus als Clubhaus, restaurierte und vergrößerte es. Der Club legte 1916 die eleganten Terrassengärten an.
Im Jahr 1936, während eines der heißesten Sommer, die je verzeichnet wurden, verlegte Bürgermeister Fiorello H. La Guardia seinen Stab nach Norden in die Bartow-Pell Mansion und leitete die Angelegenheiten der Stadt von einer Telefonbank im Keller aus. Zehn Jahre später, im Jahr 1946, öffnete der International Garden Club Bartow-Pell Mansion für die Öffentlichkeit als Museum.
Heute wurden die Innenräume so restauriert, wie sie im 19. Jahrhundert aussahen, und sind mit bedeutenden zeitgenössischen Möbeln von New Yorker Tischlern und Malern ausgestattet. Das Bartow-Pell Mansion Museum ist ein National Historic Landmark und ein New York City Landmark.
Das Herrenhaus befindet sich im Pelham Bay Park, dem größten Park in New York City. Fast 3.000 Hektar umfassen Wald, Sumpfland und felsige Küste sowie den 1,5 km langen Orchard Beach. Der abwechslungsreiche Lebensraum beherbergt eine Vielzahl von Wildtieren, darunter ein Sumpfgebiet, das ein idealer Lebensraum für wandernde Singvögel und Rubinkehlkolibris ist. Auch mehrere Rotschwanzfalken haben sich hoch oben in den Bäumen niedergelassen, und in den Wintermonaten kann man bei Ebbe Seehunde an der Küste beobachten.
Das Bartow-Pell Mansion Museum ist Eigentum des New York City Department of Parks & Recreation, wird von der Bartow-Pell Conservancy betrieben und ist Mitglied des Historic House Trust.