“Hugmynd um byggingu hegningarhúss á Íslandi mun fyrst hafa komið fram árið 1734, þegar stiftamtmaður bauð amtmanni að reifa málið á alþingi í framhaldi af konungsbréfi um fangavist í stað líflátshegningar áður. Amtmaður taldi það annmörkum háð að koma hér á fót slíkri stofnun, og þegar lögmenn og sýslumenn vísuðu málinu frá vegna kostnaðar, féll það niður um sinn.
Á árunum 1751-58 fóru gripdeildir og þjófnaður mjög í vöxt vegna hallæris í landinu. Málið kom til kasta Magnúsar Gíslasonar amtmanns sem taldi að öruggasta ráðið til þess að losna við vandræði af völdum þjófa væri að reisa í landinu hegningarhús. Og í sama streng tók stiftamtmaður. Nokkrum árum áður hafði Skúli Magnússon landfógeti orðað sömu hugmynd í erindi til stjórnarinnar og lagt til að fangarnir yrðu látnir vinna að spuna og öðrum störfum fyrir innréttingarnar nýju.
Hinn 20. mars 1759 var gefinn út konungsúrskurður um byggingu tugthúss á Íslandi og tilgreindir tveir tekjustofnar til þess að standa undir kostnaði, annars vegar leiga af sakeyri, lögð fram af konungi, og hins vegar skattur af fasteignum, greiddur af eigendum. Þótt sjöttungur skattsins, sem Íslendingar kölluðu tugthústollinn, væri áætlaður af konungseign, var augljóst að landsmenn yrðu sjálfir að greiða ríflega helming byggingarkostnaðar.
Þegar hér var komið sögunni, tók Magnús Gíslason að huga að framkvæmdum. Lagði hann til við stjórnina, að sakamönnum yrði gert að vinna að smíð hússins, og að henni lokinni, sem hann áætlaði að taka mundu fjögur ár, yrðu þeim gefnar upp sakir. Þá lagði hann einnig til að höfðu samráði við Skúla fógeta, að húsinu yrði valinn staður á Arnarhóli við Reykjavík. Þarf ekki að efa, að við staðarvalið hefur þeim Skúla gengið það helst til, að þeir sáu, að með því móti myndi auðveldast að nýta vinnu fanganna í þarfir innréttinganna.
Vorið 1761 var hafist handa um undirbúning að byggingu hússins, aflað tækja og varnings og slegið upp skýli fyrir sakamenn, sem hófu þegar að draga að grjót og grafa fyrir veggjum, en umsjón með verkinu hafði Gissur Jónsson, lögréttumaður á Arnarhóli. Teikning að fangahúsinu hefur ekki varðveist, svo vitað sé, en fullvíst má telja, að hún hafi verið gerð af Georg David Anthon hirðhúsameistara. Í mars 1764 tók Anthon saman skrá yfir byggingarvörur til fangahússins og áætlaði kostnað við trésmíða- og snikkaravinnu að upphæð 1827 rd. og 16 sk. fyrir utan flutningskostnað til Íslands. Sigurður Magnússon trésmíðasveinn var ráðinn til að vinna tréverkið og Christopher Berger múrarasveinn, sem vann að múrverki á Bessastöðum, til að standa fyrir múrsmíðinni.
Verulegur skriður komst ekki á byggingu fangahússins fyrr en sumarið 1765. Olli miklu um það, að innansleikjan við frágang Bessastaðastofu reyndist drýgri en Magnús áætlaði í fyrstu. En ekki var frágangi hennar fyrr lokið en Berger hóf að reisa fangahúsið ásamt tveimur af þeim Íslendingum, sem höfðu lært hjá honum múrverk á Bessastöðum.

Þá réð hann tvo Íslendinga til viðbótar og hugðist kenna þeim steinhöggvaraiðn, en verkamenn hans og handlangarar voru tugthúslimir, eins og áður segir. Allt að einu miðaði verkinu hægar en Magnús gerði ráð fyrir. Þó mun það hafa verið trúa manna í ársbyrjun 1767, að þess yrði ekki langt að bíða, að fulllokið yrði. Hinn 17. ágúst 1767 finnur nýr amtmaður, Ólafur Stefánsson, sig knúinn til að tilkynna rentukammeri, að Berger múrsmiður verði enn eitt ár að vinna við fangahúsið. Sama ár var sent til landsins timbur í þakið, sem var þó ekki byrjað að reisa fyrr en 1769. Smíði hússins var að fullu lokið veturinn 1770-71. Tugthúsið er talið geta rúmað 16 stórglæpamenn og 54 venjulega fanga.
Fljótlega eftir að Danir höfðu dregist inn í Napóleonsstyrjaldirnar 1807 gekk hagur Íslendinga allur saman vegna siglingateppu og vöruskorts. Þetta kom hart niður á föngum í tugthúsinu, og 1813 tilkynnti stiftamtmaður tugthússtjórninni, að til þess að bæta úr yfirvofandi neyð almennings hefði hann orðið að hætta rekstri tugthússins um sinn og ákveðið að limirnir, sem þar voru geymdir, skyldu sendast á sínar sveitir “inntil frekari ráðstöfunar”. Ári síðar staðfesti stjórnin þessa ákvörðun stiftamtmanns og 3. maí 1816 var tugthúsið formlega lagt niður með kóngsbréfi.
Árið 1819 bar það helst til tíðinda, að hér urðu stiftamtmannsskipti. Tók þá við embættinu Moltke greifi, 29 ára að aldri, og kom hingað út ásamt konu sinni að kynna sér aðstæður. Þótti honum yfirréttarhúsið, sem stjórnin hafði keypt fyrir embættið, bæði óhentugt og fátæklegt, og sótti því um leyfi til að breyta hinu „ónotaða tugthúsi“ í embættisbústað. Er skemmst frá því að segja að erindi hans fékk skjóta afgreiðslu: Í apríl var gefinn út konungsúrskurður, sem heimilaði breytingarnar, og í framhaldi af honum var gerður vandaður uppdráttur að nýrri herbergjaskipan. Ole Peter Möller, kaupmanni í Reykjavík, var falið að sjá um breytingarnar á húsinu og lét hann vinna verkið veturinn 1819-20. Hinn 2. mars 1820 taldist verkinu lokið með ítarlegri úttekt sem staðfesti að viðgerð og innrétting var í samræmi við tilgreind fyrirmæli.
Mikill kvistur var settur vestan á húsið sumarið 1866. Var kvisturinn notaður fyrir skrifstofur embættisins og skjalasafn.
Hinn 1. apríl 1873 tók Hilmar Finsen við nýstofnuðu embætti landshöfðingja skv. konungsúrskurði 4. maí 1872. Meðan sú skipan stóð, eða á tímabilinu 1873-1904, var húsið við embættið kennt og nefnt Landshöfðingjahús.
Hinn 1. febrúar 1904 gekk ný stjórnskipun í gildi, er landshöfðingjadæmið var lagt niður en heimastjórnin tók við. Þá tók Hannes Hafstein, fyrsti íslenski ráðherrann, við stjórnartaumum úr hendi Magnúsar Stephensens, sem gegnt hafði landshöfðingja-embættinu í átján ár og flutti nú í nýbyggt hús sitt við Skálholtsstíg. Þar með var sögu hússins sem embættisbústaðar lokið. Samkvæmt stjórnskipunarlögunum, sem staðfest höfðu verið 3. október 1903, voru veittar 11.000 kr. “til að breyta hinum núverandi landshöfðingjabústað í stjórnarráðskrifstofur og búa þær út”. Magnús Th. S. Blöndahl trésmiður, síðar útgerðarmaður og alþingismaður og sá hinn sami og byggt hafði hús landshöfðingja við Skálholtsstíg (Næpuna), var ráðinn til að sjá um framkvæmd verksins.
Þegar ráðherrarnir urðu þrír árið 1917, varð að stækka Stjórnarráðshúsið, til þess að þeir gætu allir komizt þar fyrir, auk þess sem störf Stjórnarráðsins höfðu aukizt það mikið á stríðsárunum, að með réttu mátti segja, að veruleg þörf hafi líka af þessari ástæðu verið orðin á rýmra húsnæði fyrir skrifstofur þess. Stjórnin hefur því ekki séð sér annað fært en að stækka húsið með því að byggja kvist á austurhlið þess, sem samsvaraði kvistinum á vesturhliðinni. Í kvistinum fengust tvö rúmgóð skrifstofuherbergi fyrir atvinnumálaráðherra og fjármálaráðherra.
Hér verður að lokum getið nokkurra helstu breytinga, sem gerðar hafa verið á húsinu á tímabilinu 1964-1996. Eftir að utanríkisráðuneytið flutti úr húsinu og skrifstofu forseta Íslands var komið þar fyrir 1973, var tekinn burt veggur milli skrifstofanna tveggja norðanmegin í vesturhelmingi hússins. Árið 1984 var hlaðið upp í glugga þann á suðurgafli hússins, sem settur var á húsið 1912.
Sumarið 1995 voru gerðar endurbætur á frágangi þaks. Þá var tekinn niður reykháfur, sem settur hafði verið á húsið í upphafi aldarinnar, en hinir tveir, sem verið hafa á húsinu frá öndverðu, voru klæddir flögusteini, eins og gert hafði verið þegar þakið var hellulagt laust upp úr miðri 19. öld.
Eftir að skrifstofa forseta Íslands flutti úr húsinu, var ákveðið að ráðast í gagngerar endurbætur á húsinu í þeim tilgangi að laga innra fyrirkomulag að breyttri notkun, endurskoða öryggismál og bæta tæknilegt ástand einstakra byggingarhluta.” – Þorsteinn Gunnarsson tók saman.

Stjórnarráðið.