Especialmente durante a guerra e outros tempos de conflito, grupos relativamente pequenos de pessoas viveram temporariamente em cavernas, onde se esconderam ou procuraram refúgio. Eles também têm usado cavernas para fins clandestinos e outros fins especiais enquanto vivem em outros lugares.
Talvez fugindo da violência dos Romanos Antigos, as pessoas deixaram os Pergaminhos do Mar Morto em onze cavernas perto de Qumran, no que é agora uma área da Cisjordânia administrada pelo Parque Nacional de Israel em Qumran. Os documentos permaneceram lá sem perturbações por aproximadamente 2.000 anos, até sua descoberta nos anos 1940 e 1950.
As Cavernas DeSoto, no que se tornou o Alabama nos Estados Unidos, eram um cemitério para as tribos locais; as mesmas cavernas se tornaram um violento barranco na década de 1920. As cavernas de St. Louis podem ter sido um esconderijo ao longo da Underground Railroad.
De cerca de 1000 a cerca de 1300, alguns Pueblo viveram em aldeias que construíram sob falésias no que é agora o sudoeste dos Estados Unidos.
Em seu livro Home Life in Colonial Days, Alice Morse Earle escreveu sobre alguns dos primeiros colonos europeus na Nova Inglaterra, Nova York e Pensilvânia vivendo em cavernas, também conhecidas como “smoaky homes”:
Na Pensilvânia, cavernas foram usadas por recém-chegados como casas por um longo tempo, certamente meio século. Elas geralmente eram formadas cavando no chão a cerca de um metro de profundidade nas margens ou em penhascos baixos perto da frente do rio. As paredes eram então construídas de torrões ou de terra, colocados em postes ou escova; assim, apenas metade da câmara estava realmente debaixo da terra. Se escavada em uma colina lateral, a terra formava pelo menos duas paredes. Os telhados eram camadas de membros de árvores cobertas com relva, ou casca, ou juncos e casca. As chaminés eram colocadas de pedra de paralelepípedos ou paus de madeira argilosa e grama. Os colonos estavam gratos mesmo por estes pobres abrigos, e declararam que os achavam confortáveis. Em 1685 muitas famílias ainda viviam em cavernas na Pensilvânia, pois o Conselho do Governador ordenou então que as cavernas fossem destruídas e preenchidas.
Nos anos 70, vários membros da Tasaday aparentemente habitavam cavernas perto de Cotabato, nas Filipinas.
Cavernas em Sacromonte, perto de Granada, Espanha, são o lar de cerca de 3.000 Gitanos, cujas habitações variam de quartos individuais a cavernas de quase 200 quartos, juntamente com igrejas, escolas e lojas nas cavernas.
Algumas famílias construíram casas modernas (ou renovaram as mais antigas) em cavernas, como no Missouri; Matera, Itália; e Espanha.
No mínimo 30.000.000 pessoas na China vivem em cavernas, chamadas yaodongs; por serem quentes no inverno e frias no verão, algumas pessoas acham as cavernas mais desejáveis do que casas de concreto na cidade.
Nas cidades mineiras australianas de Coober Pedy e Lightning Ridge, muitas famílias esculpiram casas nas minas subterrâneas de opala, para escapar do calor abrasador do deserto.
No Vale do Loire, cavernas abandonadas estão sendo renovadas privadamente como habitação acessível.
No Reino Unido, as casas rupestres em Kinver Edge foram habitadas até meados do século 20.