V roce 1654 koupil Thomas Pell od kmene Siwanoyů pozemek, na kterém se nyní nachází sídlo. Na panství žily čtyři generace Pellů, dokud nebylo po revoluční válce rozděleno.
V roce 1836 potomek rodiny Pellů Robert Bartow a jeho žena Maria Lorillardová koupili část starého panství a postavili zde módní třípatrové řecko-obrozenecké sídlo s dramatickým volně stojícím točitým schodištěm spojujícím elegantní salony v přízemí s ložnicemi nad nimi. Bartow-Pell Mansion byl obklopen pastvinami, sady a trávníky svažujícími se k zálivu.
Rodina žila v domě 50 let, dokud Bartowovy děti v roce 1888 neprodaly panství městu New York jako součást nového parku Pelham Bay. V roce 1914 přijal sídlo za své klubové sídlo Mezinárodní zahradnický klub, který jej zrestauroval a rozšířil. V roce 1916 klub instaloval elegantní terasovité zahrady.
V roce 1936, během jednoho z nejteplejších lét v historii, starosta Fiorello H. La Guardia přestěhoval své zaměstnance na sever do Bartow-Pell Mansion a řídil záležitosti města z telefonní banky v suterénu. O deset let později, v roce 1946, otevřel Mezinárodní zahradnický klub Bartow-Pell Mansion veřejnosti jako muzeum.
Dnes jsou interiéry obnoveny do podoby z 19. století a jsou vybaveny významným dobovým nábytkem od newyorských truhlářů a malířů. Bartow-Pell Mansion Museum je národní historickou památkou a památkou města New York.
Zámek se nachází v Pelham Bay Parku, největším parku v New Yorku. Téměř 3 000 akrů zahrnuje lesy, bažiny a skalnaté pobřeží a také jednu míli dlouhou pláž Orchard Beach. Pestré prostředí podporuje rozmanitost volně žijících živočichů, včetně bažin, které jsou hlavním prostředím pro stěhovavé zpěvné ptáky a kolibříky rubínovité. Vysoko na lesních stromech má svůj domov také několik jestřábů červenoocasých a v zimních měsících při odlivu lze podél pobřeží pozorovat tuleně obecného.
Bartow-Pell Mansion Museum je ve vlastnictví New York City Department of Parks & Recreation, provozuje ho Bartow-Pell Conservancy a je členem Historic House Trust.
.