În 1654, Thomas Pell a cumpărat terenul pe care se află acum conacul de la tribul Siwanoy. Patru generații de Pell au locuit la conac până când acesta a fost împărțit după Războiul de Independență.
În 1836, Robert Bartow, descendent al familiei Pell, și soția sa, Maria Lorillard, au cumpărat o parte din vechiul conac și au construit un conac la modă cu trei etaje în stil Renaștere greacă, cu o spectaculoasă scară în spirală autoportantă care leagă saloanele elegante de la parter de dormitoarele de deasupra. Conacul Bartow-Pell era înconjurat de pășuni, livezi și peluze înclinate spre golf.
Familia a locuit în casă timp de 50 de ani, până când copiii familiei Bartows au vândut proprietatea orașului New York în 1888, ca parte a noului Pelham Bay Park. În 1914, Clubul Internațional de Grădină a adoptat conacul ca sediu al clubului său, restaurându-l și lărgindu-l. Clubul a instalat elegantele grădini terasate în 1916.
În 1936, în timpul uneia dintre cele mai călduroase veri înregistrate, primarul Fiorello H. La Guardia și-a mutat personalul în nordul conacului Bartow-Pell și a condus afacerile orașului de la o bancă telefonică din subsol. Zece ani mai târziu, în 1946, Clubul Internațional de Grădină a deschis Bartow-Pell Mansion pentru public ca muzeu.
Astăzi, interioarele au fost restaurate la aspectul lor din secolul al XIX-lea și prezintă mobilier important de epocă realizat de dulgheri și pictori din New York. Muzeul Bartow-Pell Mansion este un monument istoric național și un punct de reper al orașului New York.
Conacul se află în cadrul Pelham Bay Park, cel mai mare parc din New York City. Aproape 3.000 de acri cuprind păduri, mlaștini și coastă stâncoasă, precum și plaja Orchard Beach, lungă de o milă. Habitatul variat susține o diversitate de animale sălbatice, inclusiv o mlaștină care este un mediu privilegiat pentru păsările cântătoare migratoare și colibri cu gât rubiniu. Mai mulți șoimi cu coadă roșie își fac, de asemenea, casă sus în copacii din pădure, iar focile de port pot fi văzute de-a lungul coastei în lunile de iarnă, în timpul mareei joase.
Bartow-Pell Mansion Museum este deținut de New York City Department of Parks & Recreation, operat de Bartow-Pell Conservancy și este membru al Historic House Trust.
.