En 1654, Thomas Pell a acheté à la tribu des Siwanoy les terres sur lesquelles se trouve actuellement le manoir. Quatre générations de Pell ont vécu sur le manoir jusqu’à ce qu’il soit divisé après la guerre d’Indépendance.
En 1836, un descendant de la famille Pell, Robert Bartow, et sa femme, Maria Lorillard, ont acheté une partie du vieux manoir et ont construit un manoir à la mode de style néo-grec à trois étages, avec un spectaculaire escalier en colimaçon autoportant reliant les élégants salons du rez-de-chaussée aux chambres situées au-dessus. Le manoir Bartow-Pell était entouré de pâturages, de vergers et de pelouses descendant en pente vers la baie.
La famille a vécu dans la maison pendant 50 ans, jusqu’à ce que les enfants des Bartow vendent le domaine à la ville de New York en 1888 comme partie du nouveau parc de Pelham Bay. En 1914, l’International Garden Club adopta le manoir comme son clubhouse, le restaurant et l’agrandissant. Le club a installé les élégants jardins en terrasse en 1916.
En 1936, pendant l’un des étés les plus chauds jamais enregistrés, le maire Fiorello H. La Guardia a déplacé son personnel au nord du Bartow-Pell Mansion et a dirigé les affaires de la ville depuis une banque téléphonique au sous-sol. Dix ans plus tard, en 1946, l’International Garden Club a ouvert le Bartow-Pell Mansion au public en tant que musée.
Aujourd’hui, les intérieurs ont été restaurés pour retrouver leur aspect du XIXe siècle et présentent d’importants meubles d’époque réalisés par des ébénistes et des peintres new-yorkais. Le Bartow-Pell Mansion Museum est un monument historique national et un monument de la ville de New York.
Le manoir se trouve dans le Pelham Bay Park, le plus grand parc de la ville de New York. Près de 3 000 acres englobent la forêt, les marais et le littoral rocheux, ainsi que la plage Orchard Beach, longue d’un kilomètre. Cet habitat varié abrite une faune diversifiée, notamment un marécage qui constitue un environnement de choix pour les oiseaux chanteurs migrateurs et les colibris à gorge rubis. Plusieurs buses à queue rouge ont également élu domicile en haut des arbres de la forêt et des phoques communs peuvent être observés le long du littoral pendant les mois d’hiver à marée basse.
Le Bartow-Pell Mansion Museum est la propriété du New York City Department of Parks & Recreation, exploité par le Bartow-Pell Conservancy, et est membre du Historic House Trust.