Höfði á sér merkilega sögu sem tengist samskiptum Íslendinga við aðrar þjóðir.
Húsið var reist á Félagstúni fyrir franska konsúlinn, Jean Paul Brillouin. Það var hannað í Austur-Noregi og flutt tilsniðið til Íslands. Í byggingunni má sjá áhrif frá júgendstíl, klassísku nýbarrokki og norskri þjóðernisrómantík. Í viðhafnarstofu er nafn Brillouins ritað gullnu letri yfir dyrum ásamt byggingarári hússins, 1909.
Mikill virðuleikablær ríkti yfir Höfða fyrstu áratugina. Eftir Brillouin hafði Einar Benediktsson, skáld og athafnamaður, aðsetur hér ásamt fjölskyldu sinni. Lengstu búsetu átti fjölskylda Matthíasar Einarssonar, læknis. Heimasætan, Louisa Matthíasdóttir, átti eftir að gera garðinn frægan með málaralist sinni.
Frá árinu 1938 og fram yfir stríð var Höfði aðsetur ræðismanns og síðar sendiherra Bretlands.
Hingað komu meðal annarra í heimsókn á stríðsárunum Winston Churchill forsætisráðherra Bretlands og söng- og leikkonan Marlene Dietrich. Frá miðri 20. öld bjó fjöldi manna í Höfða um lengri eða skemmri tíma og þar var einnig atvinnurekstur.
Reykjavíkurborg keypti húsið árið 1958 og var það endurbætt og fært til fyrri glæsileika. Frá árinu 1967 hefur Höfði verið vettvangur fyrir gestamóttökur á vegum borgarinnar.
Frægur er leiðtogafundur Reagans og Gorbatsjovs í Höfða í október 1986, sem talinn er marka upphafið að endalokum kalda stríðsins. Íslendingar viðurkenndu fyrstir þjóða endurheimt sjálfstæði Eystrasaltsríkjanna og var yfirlýsing þess efnis undirrituð í Höfða í ágúst 1991. Erlendir þjóðhöfðingjar sem sækja Ísland heim koma flestir í Höfða.
„Þetta er nú sennilega það hús í Reykjavík sem er frægast allra húsa,” segir Guðjón Friðriksson sagnfræðingur.