Á skilti framan við Fiskaklett í íbúðarbyggðinni við norðurhöfnina í Hafnarfirði má lesa eftirfarandi texta á skilti, sem þar er:
„Þegar Hafnarfjarðarhraun rann frá Búrfelli í miklum jarðhræringum fyrir um 7000 árum myndaðist norðurströnd Hafnarfjarðar þar sem hraunið rann til sjávar. Þessar hamfarir urðu, ásamt öðru, til þess að höfnin myndaðist og varð frá náttúrunnar hendi ein besta höfn landsins og sú besta á Suður- og Vesturlandi um aldir. Fiskaklettur var í raun ysti oddi hraunsins við höfnina þar sem hann lá út í sjó og við hann var mjög aðdjúpt. Fiskigöngur áttu það til að lóna við klettinn og myndaðist þannig við hann allgóður veiðistaður en þaðan dregur hann nafn sitt.
Á árunum 1776-78 teiknaði sjóliðsforinginn H.E. Minor uppdrátt af Hafnarfirði sem sýndi hús bæjarins ásamt þeim kennileitum og örnefnum sem markverðust þóttu. Þar er Fiskaklettur merktur vestan við verslunarhúsin þar sem hann afmarkar höfnina frá norðri og vestri að vissu leyti. Árið 1900 voru tveir vitar reistir í Hafnarfirði, annar uppi á hrauninu ofan við bæinn en hinn niðri við höfnina, austan Fiskakletts. Árið 1913 var neðri vitinn færður upp á Fiskaklett en sá efri hækkaður nokkuð þar sem hin nýbyggða Fríkirkja skyggði á hann. Neðri vitinn var þá breytt í svokallaðan blossavita.
Fram undir aldamótin 1900 hafði hver kaupmaður eða útgerðarmaður komið sér upp litlum bryggjum á sínum svæðum við höfnina en árið 1909, þegar fyrsta hafnarreglugerðin fyrir Hafnarfjarðarhöfn tók gildi, hófst skipulag og vinna að almennilegri hafnargerð í fyrsta sinn. Fyrsta skref framkvæmdanna var hafskipabryggjan sem tekin var í notkun árið 1913 en þróun hafnarinnar og framkvæmdir hér voru miklar allt frá stofnun hennar. Miklar landfyllingar voru gerðar, bólvirki hlaðin, bryggjur stækkaðar, þeim breytt og þær færðar til, auk þess sem fiskverkunar- og vöruhús af öllum stærðum og gerðum voru byggð á svæðinu á næstu árum og áratugum.
Það var svo um 1960 að nýr viðlegukantur var útbúinn þegar rúmlega 170 m. langt stálþil var sett niður við norðurhöfnina og í kjölfarið enn meiri landfylling í átt að hafnargarðinum. Það var þá sem Fiskaklettur komst endanlega á þurrt. Alla tíð var þó passað upp á að hrófla ekki við honum. Þegar norðurhöfninni var breytt úr hafnarsvæði í íbúðarsvæði var kletturinn friðaður í deiliskipulagi sem sögulegur staður.“