En 1654, Thomas Pell compró a la tribu Siwanoy el terreno en el que ahora se encuentra la mansión. Cuatro generaciones de Pell vivieron en la mansión hasta que fue dividida después de la Guerra de la Independencia.
En 1836, Robert Bartow, descendiente de la familia Pell, y su esposa, Maria Lorillard, compraron parte de la antigua mansión y construyeron una moderna mansión de tres pisos de estilo griego, con una espectacular escalera de caracol independiente que conectaba los elegantes salones de la planta baja con los dormitorios superiores. La mansión Bartow-Pell estaba rodeada de pastos, huertos y céspedes que descendían hasta la bahía.
La familia vivió en la casa durante 50 años, hasta que los hijos de los Bartows vendieron la finca a la ciudad de Nueva York en 1888 como parte del nuevo Parque de la Bahía de Pelham. En 1914, el Club Internacional de Jardinería adoptó la mansión como casa club, restaurándola y ampliándola. El club instaló los elegantes jardines en terrazas en 1916.
En 1936, durante uno de los veranos más calurosos de los que se tiene constancia, el alcalde Fiorello H. La Guardia trasladó a su personal al norte de la mansión Bartow-Pell y dirigió los asuntos de la ciudad desde un banco de teléfonos en el sótano. Diez años más tarde, en 1946, el Club Internacional de Jardinería abrió la Mansión Bartow-Pell al público como museo.
Hoy en día, los interiores han sido restaurados a su aspecto del siglo XIX y cuentan con importantes muebles de época realizados por ebanistas y pintores neoyorquinos. El Museo de la Mansión Bartow-Pell es un monumento histórico nacional y un monumento de la ciudad de Nueva York.
La mansión se encuentra dentro del Parque de la Bahía de Pelham, el mayor parque de la ciudad de Nueva York. Sus casi 3.000 acres abarcan bosques, marismas y costas rocosas, así como la playa Orchard, de una milla de longitud. El variado hábitat sustenta una gran diversidad de fauna, incluido un pantano que es un entorno privilegiado para los pájaros cantores migratorios y los colibríes de garganta rubí. Varios halcones de cola roja también tienen su hogar en lo alto de los árboles del bosque y se pueden ver focas de puerto a lo largo de la costa en los meses de invierno durante la marea baja.
El Museo de la Mansión Bartow-Pell es propiedad del Departamento de Parques de la Ciudad de Nueva York &Recreación, operado por la Bartow-Pell Conservancy, y es miembro del Historic House Trust.