Vuonna 1654 Thomas Pell osti Siwanoy-heimolta maan, jolla kartano nyt sijaitsee. Neljä Pellin sukupolvea asui kartanolla, kunnes se jaettiin vapaussodan jälkeen.
Vuonna 1836 Pellin suvun jälkeläinen Robert Bartow ja hänen vaimonsa Maria Lorillard ostivat osan vanhasta kartanosta ja rakensivat muodikkaan kolmikerroksisen kreikkalaisperäisen herännäiskartanon, jonka dramaattinen vapaasti seisova kierreportaikko yhdisti pohjakerroksen tyylikkäät salongit yläkerran makuuhuoneisiin. Bartow-Pellin kartanoa ympäröivät laitumet, hedelmätarhat ja lahdelle laskevat nurmikot.
Perhe asui talossa 50 vuotta, kunnes Bartowien lapset myivät kartanon New Yorkin kaupungille vuonna 1888 osana uutta Pelham Bay Parkia. Vuonna 1914 Kansainvälinen puutarhakerho otti kartanon kerhotalokseen, kunnosti ja laajensi sitä. Klubi asensi tyylikkäät terassipuutarhat vuonna 1916.
Vuonna 1936, yhden kaikkien aikojen kuumimman kesän aikana, pormestari Fiorello H. La Guardia siirsi esikuntansa pohjoiseen Bartow-Pell Mansioniin ja johti kaupungin asioita kellarissa sijaitsevasta puhelinpankista. Kymmenen vuotta myöhemmin, vuonna 1946, International Garden Club avasi Bartow-Pell Mansionin yleisölle museoksi.
Tänään sisätilat on kunnostettu 1800-luvun näköisiksi, ja niissä on New Yorkin puuseppien ja taidemaalareiden tekemiä tärkeitä aikakauden kalusteita. Bartow-Pell Mansion Museum on kansallinen historiallinen maamerkki ja New Yorkin kaupungin maamerkki.
Kartano sijaitsee Pelham Bay Parkissa, joka on New Yorkin suurin puisto. Lähes 3 000 hehtaaria käsittää metsää, suoalueita ja kallioista rantaviivaa sekä kilometrin mittaisen Orchard Beachin. Monipuolinen elinympäristö tukee monenlaista luontoa, kuten suota, joka on ensisijainen ympäristö muuttolinnuille ja rubiinikolibrille. Useat punapyrstöhaukat asustavat korkealla metsän puissa, ja talvikuukausina laskuveden aikaan rannikolla voi nähdä satamahylkeitä.
Bartow-Pell Mansion Museumin omistaa New Yorkin kaupungin puisto- ja puisto-osasto &vapaa-ajanvietto-osasto (Department of Parks & Recreation), sitä ylläpitää Bartow-Pellin suojeluyhdistys (Bartow-Pell Conservancy), ja se on historiallisen talotilan säätiön (Historic House Trustin) jäsen
.