1654 köpte Thomas Pell marken där herrgården nu ligger av Siwanoy-stammen. Fyra generationer Pell bodde på herrgården tills den delades upp efter frihetskriget.
1836 köpte Pell-familjens ättling Robert Bartow och hans hustru Maria Lorillard en del av den gamla herrgården och byggde ett fashionabelt trevåningshus i grekisk nybyggnadsstil, med en dramatisk fristående spiraltrappa som förbinder de eleganta salongerna på bottenvåningen med sovrummen ovanför. Bartow-Pell Mansion var omgiven av betesmark, fruktträdgårdar och gräsmattor som sluttade ner mot bukten.
Familjen bodde i huset i 50 år, tills Bartows barn sålde egendomen till staden New York 1888 som en del av den nya Pelham Bay Park. År 1914 antog International Garden Club herrgården som sitt klubbhus och restaurerade och utvidgade den. Klubben installerade de eleganta terrasserade trädgårdarna 1916.
Under en av de hetaste somrarna någonsin flyttade borgmästare Fiorello H. La Guardia 1936 sin personal norrut till Bartow-Pell Mansion och ledde stadens angelägenheter från en telefonbank i källaren. Tio år senare, 1946, öppnade International Garden Club Bartow-Pell Mansion för allmänheten som ett museum.
I dag har interiörerna återställts till 1800-talets utseende och har viktiga tidstypiska möbler av New York-montörer och -målare. Bartow-Pell Mansion Museum är ett nationellt historiskt landmärke och ett landmärke i New York City.
Villan ligger i Pelham Bay Park, den största parken i New York City. Nästan 3 000 hektar omfattar skog, sumpmarker och klippiga kuststräckor samt den en mil långa Orchard Beach. Den varierade livsmiljön stöder en mångfald av vilda djur, inklusive ett träsk som är en utmärkt miljö för flyttande sångfåglar och rubinhalade kolibrier. Flera rödsvansade hökar har också sitt hem högt uppe i skogsträden och hamnsälar kan ses längs kusten under vintermånaderna vid lågvatten.
Bartow-Pell Mansion Museum ägs av New York City Department of Parks & Recreation, drivs av Bartow-Pell Conservancy och är medlem i Historic House Trust.