Vor allem in Kriegszeiten und anderen Zeiten des Unfriedens haben relativ kleine Gruppen von Menschen vorübergehend in Höhlen gelebt, wo sie sich versteckt oder anderweitig Zuflucht gesucht haben. Sie haben Höhlen auch für geheime und andere besondere Zwecke genutzt, während sie anderswo lebten.
Vielleicht auf der Flucht vor der Gewalt der alten Römer hinterließen die Menschen die Schriftrollen vom Toten Meer in elf Höhlen in der Nähe von Qumran, in einem Gebiet im Westjordanland, das heute vom israelischen Qumran-Nationalpark verwaltet wird. Die Dokumente blieben dort etwa 2.000 Jahre lang ungestört, bis sie in den 1940er und 1950er Jahren entdeckt wurden.
Die DeSoto-Höhlen im heutigen Alabama in den Vereinigten Staaten waren eine Begräbnisstätte für lokale Stämme; dieselben Höhlen wurden in den 1920er Jahren zu einer gewalttätigen Speakeasy. Die Höhlen von St. Louis könnten ein Versteck der Underground Railroad gewesen sein.
Von etwa 1000 bis etwa 1300 lebten einige Pueblo-Völker in Dörfern, die sie unterhalb von Klippen im heutigen Südwesten der Vereinigten Staaten errichteten.
In ihrem Buch Home Life in Colonial Days schrieb Alice Morse Earle, dass einige der ersten europäischen Siedler in Neuengland, New York und Pennsylvania in Höhlenwohnungen lebten, die auch als „Smoaky Homes“ bekannt waren:
In Pennsylvania wurden Höhlen von den Neuankömmlingen lange Zeit, sicherlich ein halbes Jahrhundert lang, als Wohnungen genutzt. Sie wurden in der Regel durch Graben in den Boden etwa vier Fuß tief an den Ufern oder niedrigen Klippen in der Nähe der Flussufer gebildet. Die Wände wurden dann aus Soden oder Erde errichtet, die auf Pfähle oder Gestrüpp gelegt wurden; so war nur die Hälfte der Kammer wirklich unter der Erde. Wurde sie in einen Seitenhügel gegraben, bildete die Erde mindestens zwei Wände. Die Dächer bestanden aus Schichten von Baumstämmen, die mit Soden, Rinde oder Binsen und Rinde bedeckt waren. Die Schornsteine wurden aus Pflastersteinen oder Holzstöcken errichtet, die mit Lehm und Gras vermörtelt wurden. Die Siedler waren selbst für diese ärmlichen Behausungen dankbar und erklärten, dass sie sie bequem fanden. Bis 1685 lebten noch viele Familien in Pennsylvania in Höhlen, denn dann ordnete der Rat des Gouverneurs an, die Höhlen zu zerstören und aufzuschütten.
In den 1970er Jahren bewohnten mehrere Mitglieder der Tasaday offenbar Höhlen in der Nähe von Cotabato auf den Philippinen.
In den Höhlen von Sacromonte in der Nähe von Granada, Spanien, leben etwa 3.000 Gitano, deren Behausungen von Einzelzimmern bis zu Höhlen mit fast 200 Zimmern reichen, sowie Kirchen, Schulen und Geschäfte in den Höhlen.
Einige Familien haben moderne Häuser in Höhlen gebaut (oder ältere renoviert), wie in Missouri, Matera, Italien, und Spanien.
Mindestens 30.000.000 Menschen in China leben in Höhlenwohnungen, die Yaodongs genannt werden; weil sie im Winter warm und im Sommer kühl sind, finden manche Menschen Höhlen erstrebenswerter als Betonwohnungen in der Stadt.
In den australischen Bergbaustädten Coober Pedy und Lightning Ridge haben viele Familien Häuser in die unterirdischen Opalminen gegraben, um der brennenden Wüstenhitze zu entkommen.
Im Loire-Tal werden verlassene Höhlen von privater Hand als erschwingliche Wohnungen renoviert.
Im Vereinigten Königreich waren die Felsenhäuser von Kinver Edge bis Mitte des 20. Jahrhunderts bewohnt.