Nokkrum sinnum hafa verið gerðar klaufalegar tilraunir til að fornleifaskrá svæðið í kringum Kaldársel, bæði af fornleifafræðingum og sagnfræðingum. Flestar þeirra eru því að mörgu leyti svolítið skondnar. Um Kaldársel og nágrenni er fjallað víðs vegar hér á vefsíðunni. Hér verður allra vitleysanna ekki getið; einungis rifjuð upp saga staðarins í stuttu máli:
Kaldársel er við Kaldá þar var selstaða frá prestsetrinu á Görðum og tilheyrði Garðakirkjulandi í Álftaneshreppi samkvæmt Jarðatali Johnsens 1847 og þar hefur jörðin jarðanúmerið 185.
Kaldársels er fyrst getið í árið 1703 í Jarðabók Árna og Páls, þá sem seli frá Görðum á Álftanesi. „Selstöðu á staðurinn þar sem heitir við Kaldá, þar eru bæði hagar og vatnsból gott.“ Kaldársel liggur 6-7 km suðaustur af þéttbýli Hafnarfjarðar. Staðurinn dregur nafn sitt af ánni sem Kaldá heitir, en bærinn stóð örfá metra frá ánni. Á svæðinu var mikill skógur sem áður fyrr var nýttur til kolagerðar og eldiviðar. Ekki er vitað hvenær landið komst í eigu Garðakirkju, en ljóst er að Garðaprestar höfðu þar í seli. Í ferðabók sinni segir Sveinn Pálsson frá seli sem Markús Magnússon prófastur á Görðum hefur 1791:
“Þarna í grenndinni hefur Markús prófastur í seli og hyggst einnig héðan í frá að hafa allt fé sitt þar á vetrum og láta tvo menn gæta þess þar. Í þessu skyni hefur hann látið bera þar saman 100 hesta hey, sem slegið er þar efra, svo hægt sé að gefa fé, ef svo verður hart í ári, að tekur fyrir beit. Aukk þessa hefur þessi dugnaðar bóndi látið gera nokkrar fjárborgir úr grjóti þar í grennd. Þetta eru eins konar fjárhús, kringlótt og keilulaga og hlaðin þannig saman, að enginn spýta er í þeim. Hver þeirra rúmar um 50 fjár.”
Má ætla að hér sé um lýsingu á Kaldárseli er að ræða. Lítið er vitað um Kaldársel frá því Sveinn Pálsson var þar á ferð í nóvember árið 1792 þar til árið 1842. Í lok 19. aldar nýttu Hvaleyrarbændur Kaldársel sem selstöðu og leigðu þá selstöðuna af Garðakirkju. Árið 1842 keypti Jón Hjörtson Hvaleyri og allar hjáleigur jarðarinnar. Jón og Þórunn Sigurðardóttir kona hans voru með selstöðu í Kaldárseli á þeim tíma er þau bjuggu á Hvaleyri. Jón og Þórunn höfðu sjálf umsjón með selinu og voru þar stóran hluta úr sumrinu. Jón lést árið 1866 og eftir það lögðust selfarir í Kaldársel niður.
Árið 1867 er talið fyrsta árið sem Kaldársel var í byggð allt árið. Þá bjó í Kaldárseli Jón Jónsson, kona hans og tvö börn þeirra. Talið er að Jón og hans fjölskylda hafi búið í Kaldárseli í tvö ár. Á meðan Jón bjó í Kaldárseli var hann skrifaður þurrabúaðarmaður. Við brottför þeirra úr Kaldárseli lagðist búskapur þar niður í nokkur ár. Árið 1876 voru þrír skráðir til heimilis í Kaldárseli. Það var Þorsteinn Þorsteinsson bóndi, en hann var ókvæntur og barnlaus, ásamt ráðskonu og tökubarni. Á þeim tíu árum sem Þorsteinn bjó í Kaldárseli voru heimilismenn allt frá einum og upp í sex. Aðalbústofn Þorsteins var sauðfé, og hafði hann einnig eitt til tvö hross. Fé hans hafði nokkra sérstöðu því var það nánast allt ferhyrnt, sem hafði einnig þann eiginleika að vera harðgert og þolið beitarfé. Þorsteinn var í Kaldárseli fram til dauðadags árið 1886. Þegar hann lést bjó hjá honum stúlka frá Hafnarfirði að nafni Sigríður Bjarnadóttir. Við andlát Þorsteins lauk fastri búsetu í Kaldárseli.
Eftir að Þorsteinn féll frá voru í Kaldárseli nokkrar byggingar og önnur mannvirki sem ætla má að flest hafi verið gerð af Þorsteini. Þar má meðal annars nefna matjurtargarð og hlaðinn garð umhverfis túnið. Er húsakosti lýst á eftirfarnandi hátt í bókinni Áður en fífan fýkur eftir Ólaf Þorvaldsson: „Bæjarhús voru lítil en snoturlega byggð, og voru baðstofa, búr, eldhús og bæjardyr. Allar voru tætturnar vel hlaðnar úr sléttum, en nokkuð þykkum brunahellum og hvergi mold né torf á milli, svo sem venja var til um flestar byggingar þess tíma.“ Húsin í Kaldárseli voru því nokkuð sérstæð þar sem þau voru einungis byggð úr grjóti.
Þegar Daniel Bruun var á ferðinni um Kaldársel rétt fyrir aldamótin 1900 lýsti hann rústunum á eftirfarandi hátt: „Þar eru nokkrar tóttir bæði af bæjar- og útihúsum, og nokkur fjárskýli bæði opin og lokuð. Sérstaklega ber að geta þar um tvær fjárborgir … einnig eru þar fjárréttir og loks fjárskjól í hellum í hrauninu. Hjá bæjarhúsunum er fjárhús og hesthús en ekkert fjós.“
Fljótlega eftir andlát Þorsteins voru húsin í Kaldárseli öll rifin nema baðstofan, en hún fékk að standa þar til um aldamótin 1900. Var baðstofan notuð sem afdrep fyrir fjármenn Setbergsbænda sem ráku fé sitt á þessum slóðum og Krýsvíkinga áttu leið þar um á ferðum sínum til og frá Hafnarfirði. Einnig nýttu þessa aðstöðu haustleitarmenn Grindavíkurhrepps og hinir fjölmörgu erlendu ferðamenn sem leið áttu til Krýsuvíkur.
Um 1906 var aftur gerð tilraun til búskapar í Kaldárseli, sá maður var ungur Hafnfirðingur að nafni Kristmundur Þorláksson. Kristmundur byggði yfir gömlu baðstofutóftina og nýtti sem heyhlöðu, og einnig byggði hann fjárhús. Kristmundur hafði lömbin á húsi, en ærnar við hella norður af Kaldárseli. Kristmundur stoppaði stutt við í Kaldárseli eða einn vetur. Löng gangan milli Hafnarfjarðar og Kaldársels, músétin lömb og sú staðreind að honum bauðst vist hjá bóndanum í Hvassahrauni þar sem hann gat tekið fé sitt með sér voru ástæður þess að hann ákvað að hætta búskap í Kaldárseli. Kristmundur var síðasti bóndinn í Kaldárseli. Hafnarfjörður keypti mikið land af Garðakirkju árið 1912, þar á meðal Kaldársel.
Vatnsskortur var farinn að láta á sér bera í Hafnarfirði og því voru umbætur gerðar árið 1918. Ákveðið var að flytja hluta vatnsmagns Kaldár í ofanjarðar tréstokk og sleppa því í suðurhorn Sléttuhlíðar. Stokkurinn var um 1,5 km að lengd. Vatnið fann sér leið neðanjarðar að Lækjarbotnum þar sem vatnsveita Hafnfirðinga var. Skiluðu þessar umbætur nægjanlegum vatnsbirgðum til Hafnfirðinga.
Árin 1949 til 1953 var ráðist í umbætur á vatsnleiðslunni frá Kaldá, gerð var neðanjarðarleiðsla sem náði frá Kaldá og alla leið til Hafnarfjarðar.
Árið 1955 var byggð lögrétt í Kaldárseli fyrir Hafnarfjarðarbæ, Garða- og Bessastaðahrepp. Árið 1925 byggðu félögin K.F.U.M. og K. bæði í Reykjavík og Hafnarfirði hús til sumardvalar barna. Börnin voru flest á aldrinum 8-10 ára.
Í Vísi 28. júlí 1929 lýsir Sigurbjörn Á. Gíslason dagsferð í Kaldársel. Þar á meðal lýsir hann hinum nýju húskynnum K.F.U.M: Í skálanum eru 2 smáherbergi, eldhús og svefnstofa, og eitt stórt, þar eru 24 rúm, þrísett upp á við og 2 langborð í miðju, til að matast við. Félögin nota skálann sumpart handa sjálfum sér að sumarbústað og sumpart þó eða einkanlega nú sem drengjabústað. Drengirnir voru í þetta sinn flestir 8 til 10 ára gamlir, bæði úr Reykjavík og Hafnarfirði.
K.F.U.M og K. er enn þann dag í dag með starfsemi í Kaldárseli þótt húsið sé mikið breytt frá lýsingu Sigurbörns.
Kaldársels er fyrst getið í árið 1703 í Jarðabók Árna og Páls, þá sem seli frá Görðum á Álftanesi, Staðurinn dregur nafn sitt af ánni sem Kaldá heitir en bærinn stóð örfá metra frá ánni. Á svæðinu var mikill skógur sem áður fyrr var nýttur til kolagerðar og eldiviðar. Ekki er vitað hvenær landið komst í eigu Garðakirkju en ljóst er að Garðaprestar höfðu þar í seli. Í ferðabók sinni segir Sveinn Pálsson frá seli sem Markús Magnússon prófastur á Görðum hefur 1791: “Lítið er vitað um Kaldársel frá því Sveinn Pálsson var þar á ferð í nóvember árið 1792 þar til árið 1842. Í lok 19. aldar nýttu Hvaleyrarbændur Kaldársel sem selstöðu og leigðu þá selstöðuna af Garðakirkju.”
Árið 1842 keypti Jón Hjörtson Hvaleyri og allar hjáleigur jarðarinnar. Jón og Þórunn Sigurðardóttir kona hans voru með selstöðu í Kaldárseli á þeim tíma er þau bjuggu á Hvaleyri. Jón og Þórunn höfðu sjálf umsjón með selinu og voru þar stóran hluta úr sumrinu. Jón lést árið 1866 og eftir það lögðust selfarir í Kaldársel niður.
Árið 1867 er talið fyrsta árið sem Kaldársel var í byggð allt árið. Og er talið að þau hafi búið þar í 2 ár.
Árið 1876 eru 3 skráðir til heimilis í Kaldárseli og var búið það í 10 ár eða til 1886, en þá lauk fastri búsetu í Kaldárseli.
Þegar Daniel Bruun var á ferðinni um Kaldársel rétt fyrir aldamótin 1900 lýsir hann rústunum á eftirfarandi hátt: „Þar eru nokkrar tóttir bæði af bæjar- og útihúsum, og nokkur fjárskýli bæði opin og lokuð. Sérstaklega ber að geta þar um tvær fjárborgir…einnig eru þar fjárréttir og loks fjárskjól í hellum í hrauninu. Hjá bæjarhúsunum er fjárhús og hesthús en ekkert fjós.“
Þá segir í bókinni “ Áður en fífan fýkur” eftir Ólaf Þorvaldsson: „Bæjarhús voru lítil en snoturlega byggð, og voru baðstofa, búr, eldhús og bæjardyr. Allar voru tætturnar vel hlaðnar úr sléttum, en nokkuð þykkum brunahellum og hvergi mold né torf á milli, svo sem venja var til um flestar byggingar þess tíma.“ Húsin í Kaldárseli voru því nokkuð sérstæð þar sem þau voru einungis byggð úr grjóti.
Fljótlega eftir síðasta ábúandann 1886 voru húsin í Kaldárseli öll rifin nema baðstofan, en hún fékk að standa þar til um aldamótin 1900.
Um 1906 var aftur gerð tilraun til búskapar í Kaldárseli, sá maður var ungur Hafnfirðingur að nafni Kristmundur Þorláksson. Kristmundur byggði yfir gömlu baðstofutóftina og nýtti sem heyhlöðu einnig byggði hann fjárhús. Kristmundur var síðasti bóndinn í Kaldárseli.
Hafnarfjörður keypti mikið land af Garðakirkju árið 1912, þar á meðal Kaldársel. Árið 1955 var byggð lögrétt í Kaldárseli fyrir Hafnarfjarðarbæ, Garða- og Bessastaðahrepp. Árið 1925 byggðu félögin K.F.U.M. og K járnvarið timburhús fyrir sumarbúðir sínar í Kaldárseli.