In 1654 kocht Thomas Pell het land waarop het landhuis zich nu bevindt van de Siwanoy-stam. Vier generaties Pells woonden op het landhuis tot het na de Revolutionaire Oorlog werd verdeeld.
In 1836 kochten Robert Bartow en zijn vrouw Maria Lorillard, een afstammeling van de Pell-familie, een deel van het oude landhuis en bouwden er een modieus herenhuis van drie verdiepingen in Griekse stijl, met een indrukwekkende vrijstaande wenteltrap die de elegante salons op de begane grond verbond met de slaapkamers erboven. Het Bartow-Pell Mansion werd omringd door weilanden, boomgaarden en gazons die afliepen naar de baai.
De familie bleef 50 jaar in het huis wonen, totdat de kinderen van de Bartows het landgoed in 1888 verkochten aan de stad New York als onderdeel van het nieuwe Pelham Bay Park. In 1914 nam de International Garden Club het landhuis over als clubhuis en restaureerde en vergrootte het. In 1936, tijdens een van de heetste zomers ooit, verhuisde burgemeester Fiorello H. La Guardia zijn staf naar het noorden van Bartow-Pell Mansion en leidde hij de zaken van de stad vanuit een telefooncel in de kelder. Tien jaar later, in 1946, opende de International Garden Club Bartow-Pell Mansion voor het publiek als museum.
Heden ten dage zijn de interieurs gerestaureerd naar hun 19e-eeuwse uiterlijk en zijn ze voorzien van belangrijk meubilair uit die tijd van New Yorkse meubelmakers en schilders. Het Bartow-Pell Mansion Museum is een National Historic Landmark en een New York City Landmark.
Het herenhuis ligt in Pelham Bay Park, het grootste park in New York City. Bijna 3.000 acres omvatten bos, moeras, en rotsachtige kustlijn, evenals de 1-mile-lange Orchard Beach. De gevarieerde habitat ondersteunt een verscheidenheid aan wilde dieren, waaronder een moeras dat een uitstekende omgeving is voor trekkende zangvogels en ruby-throated kolibries. Verschillende roodstaarthaviken maken ook hun thuis hoog in de bosbomen en havenzeehonden kunnen worden gezien langs de kustlijn in de wintermaanden tijdens eb.
Bartow-Pell Mansion Museum is eigendom van het New York City Department of Parks & Recreation, wordt beheerd door de Bartow-Pell Conservancy, en is lid van de Historic House Trust.