W 1654 r. Thomas Pell kupił od plemienia Siwanoy ziemię, na której obecnie znajduje się posiadłość. Cztery pokolenia Pellów mieszkały w posiadłości, dopóki nie została ona podzielona po wojnie rewolucyjnej.
W 1836 roku potomek rodziny Pell, Robert Bartow i jego żona, Maria Lorillard, kupili część starej posiadłości i zbudowali modną trzypiętrową rezydencję w stylu greckiego renesansu, z dramatycznymi wolnostojącymi spiralnymi schodami łączącymi eleganckie salony na parterze z sypialniami powyżej. The Bartow-Pell Mansion był otoczony pastwiskami, sadami i trawnikami opadającymi w dół do zatoki.
Rodzina mieszkała w domu przez 50 lat, aż dzieci Bartowów sprzedały posiadłość miastu Nowy Jork w 1888 roku jako część nowego Pelham Bay Park. W 1914 roku Międzynarodowy Klub Ogrodniczy zaadoptował rezydencję jako swój dom klubowy, odrestaurowując ją i powiększając. Klub zainstalował eleganckie ogrody tarasowe w 1916 roku.
W 1936 roku, podczas jednego z najgorętszych lat na rekord, burmistrz Fiorello H. La Guardia przeniósł swój personel na północ do Bartow-Pell Mansion i kierował sprawami miasta z banku telefonicznego w piwnicy. Dziesięć lat później, w 1946 roku, International Garden Club otworzył Bartow-Pell Mansion do publicznej wiadomości jako muzeum.
Dzisiaj, wnętrza zostały przywrócone do ich 19-wiecznego wyglądu i wyposażone w ważne meble okresu przez nowojorskich stolarzy i malarzy. Muzeum Bartow-Pell Mansion jest National Historic Landmark i New York City Landmark.
Dworek znajduje się w Pelham Bay Park, największym parku w Nowym Jorku. Prawie 3000 akrów obejmuje lasy, bagna i skaliste wybrzeże, a także jednomilową plażę Orchard Beach. Zróżnicowane siedlisko wspiera różnorodność dzikich zwierząt, w tym bagna, które są doskonałym środowiskiem dla wędrownych ptaków śpiewających i kolibrów rubinowych. Kilka jastrzębi czerwonoogoniastych również znajduje swój dom wysoko w lesie, a foki portowe można zobaczyć wzdłuż linii brzegowej w miesiącach zimowych podczas odpływu.
Bartow-Pell Mansion Museum jest własnością New York City Department of Parks & Recreation, zarządzane przez Bartow-Pell Conservancy, i jest członkiem Historic House Trust.
.