1654-ben Thomas Pell megvásárolta a Siwanoy törzstől a földet, amelyen a kastély ma áll. A Pell család négy generációja élt a kastélyban, amíg a függetlenségi háború után fel nem osztották.
1836-ban a Pell család leszármazottja, Robert Bartow és felesége, Maria Lorillard megvásárolta a régi kastély egy részét, és egy divatos, háromszintes, görög korabeli kúriát épített, amelynek drámai, szabadon álló csigalépcsője a földszinti elegáns szalonokat kötötte össze a fenti hálószobákkal. A Bartow-Pell kúriát legelők, gyümölcsösök és az öböl felé lejtő pázsit vette körül.
A család 50 évig élt a házban, amíg Bartowék gyermekei 1888-ban eladták a birtokot New York városának az új Pelham Bay Park részeként. 1914-ben az International Garden Club klubházként fogadta el a kúriát, felújítva és kibővítve azt. A klub 1916-ban telepítette az elegáns teraszos kerteket.
1936-ban, a rekordmeleg nyár egyik legforróbb nyara idején Fiorello H. La Guardia polgármester északra, a Bartow-Pell kúriába költöztette a személyzetét, és a pincében lévő telefonbankból irányította a város ügyeit. Tíz évvel később, 1946-ban az International Garden Club múzeumként nyitotta meg a Bartow-Pell Mansion-t a nagyközönség előtt.
Most a belső tereket a 19. századi megjelenésük szerint állították helyre, és New York-i asztalosok és festők fontos korabeli berendezési tárgyai találhatók bennük. A Bartow-Pell Mansion Museum nemzeti történelmi műemlék és New York városi műemlék.
A kastély a Pelham Bay Parkban, New York legnagyobb parkjában található. A közel 3000 hektárnyi terület erdőt, mocsarat és sziklás partvonalat, valamint az egy mérföld hosszú Orchard Beach-et foglalja magába. A változatos élőhely sokféle élővilágnak ad otthont, köztük egy mocsárnak, amely kiváló környezetet biztosít a vándorló énekesmadarak és a rubintorkú kolibrik számára. Számos vörösfarkú sólyom is otthonra lelt az erdő fái között, és a téli hónapokban, apály idején kikötői fókák is megfigyelhetők a part mentén.
A Bartow-Pell Mansion Museum a New York City Department of Parks & Recreation tulajdonában van, a Bartow-Pell Conservancy üzemelteti, és tagja a Historic House Trustnak
.