Gamli bærinn í Kaldárseli stóð á túnblettinum, sem núverandi hús stendur á, þ.e. suðaustan við eldra Kaldárselhúsið, á móts við miðju þess nýrra er snýr að árbakkanum. Áður tilheyrði landið Garðakirkju og hafði hún þar í seli fram til ársins 1836. Frá árinu 1873 hafði Hvaleyri þar leigusel. Sel Garða voru flest í Selgjá vestan Búrfellsgjár. Enn sjást þar tóttir selja með hraunbarminum beggja vegna, einkum að sunnanverðu, svo og fallegir fjárhellar, bæði í gjánni og efst í Urriðavatnshrauni. Hafnarfjarðarbær keypti árið 1912 allmikinn hluta af Garðakirkjulandi, Kaldársel þar með. Elsta heimild um Kaldársel er í Jarðabók Árna Magnússonar og Páls Vídalíns frá 1703.

Sjá meira undir Lýsingar.