Nel 1654, Thomas Pell acquistò dalla tribù Siwanoy la terra su cui ora si trova la villa. Quattro generazioni di Pells vissero nel maniero fino a quando fu diviso dopo la guerra rivoluzionaria.
Nel 1836, il discendente della famiglia Pell, Robert Bartow e sua moglie, Maria Lorillard, acquistarono parte del vecchio maniero e costruirono un elegante palazzo di tre piani in stile Revival Greco, con una drammatica scala a spirale indipendente che collega gli eleganti salotti al piano terra con le camere da letto al piano superiore. La Bartow-Pell Mansion era circondata da pascoli, frutteti e prati che scendevano fino alla baia.
La famiglia visse nella casa per 50 anni, finché i figli dei Bartows vendettero la proprietà alla città di New York nel 1888 come parte del nuovo Pelham Bay Park. Nel 1914, l’International Garden Club adottò la villa come sede del suo club, restaurandola e ampliandola. Il club installò gli eleganti giardini a terrazze nel 1916.
Nel 1936, durante una delle estati più calde mai registrate, il sindaco Fiorello H. La Guardia spostò il suo staff a nord di Bartow-Pell Mansion e diresse gli affari della città da una banca telefonica nel seminterrato. Dieci anni dopo, nel 1946, l’International Garden Club aprì Bartow-Pell Mansion al pubblico come museo.
Oggi, gli interni sono stati restaurati al loro aspetto del XIX secolo e presentano importanti arredi d’epoca di ebanisti e pittori di New York. Il Bartow-Pell Mansion Museum è un National Historic Landmark e un New York City Landmark.
La villa si trova all’interno del Pelham Bay Park, il più grande parco di New York City. Quasi 3.000 acri comprendono foreste, paludi e coste rocciose, così come la spiaggia di Orchard lunga un miglio. L’habitat vario supporta una diversità di fauna selvatica, tra cui una palude che è un ambiente privilegiato per gli uccelli canori migratori e i colibrì rubino. Diversi falchi dalla coda rossa fanno anche la loro casa sugli alberi della foresta e le foche del porto possono essere viste lungo la costa nei mesi invernali durante la bassa marea.
Bartow-Pell Mansion Museum è di proprietà del New York City Department of Parks & Recreation, gestito dal Bartow-Pell Conservancy, ed è membro dell’Historic House Trust.