Taani kuningas andis Kolga ümbruse maad 1230tel aastatel Gotlandil (Ojamaal) asuvale Roma kloostrile. Tõenäoliselt üsna pea rajati nende valduse keskusena Kolga mõis (saksa k Kolk), mida on esmamainitud juba 1298. aastal.

Keskaegne mõis oli välja ehitatud kivist linnusena, mida kaitses ümar suurtükitorn. Linnus jäi varemetesse Liivi sõjas ning arvatavasti lammutati uuemate mõisahoonete ehitamisel 17. sajandil.

1581. aastal kinkis Rootsi kuningas Johan III Kolga ja selle ümbruse kuulsale Rootsi väejuhile Pontus de la Gardie'le. 1658. aastal läks mõis perekonnasidemete kaudu von Stenbockide suguvõsa omandusse. Mõisasüda kuulus von Stenbockidele kuni 1940. aastani, mil mõis natsionaliseeriti.

1642. aastal valmis mõisas esimene kivist peahoone, mis oli arvatavasti ühekorruseline. 1765-68 rekonstrueeriti see suureks kahekorruseliseks barokkhooneks. 1820tel aastatel ehitati hoone põhjalikult ümber stiilseks klassitsistlikuks paleeks, mil ta sai oma praeguse väliskuju. Hoone fassaadile lisati tollal eenduv keskosa ja külgosad, mis kõik olid kolmekorruselised. Keskosa kaunistab kõrge kuue rühmitatud sambaga portikus, millel on kolmnurkfrontoon. Eenduvaid külgosi kaunistavad kolmeosalised kaaraknad, nn. veneetsia aknad.

Peahoonele lisati peamiselt 18. sajandil suur hulk kõrvalhooneid, mis kokku moodustasid stiilse ansambli. Peahoonega oli seotud kaks suletud kinnist kompleksi, nn hoovi. Väike suletud hoov jäi peahoone taha; selle moodustasid valitsejamaja, tööliste maja ning kaaristuga ait. Suurem hoov jäi peahoone ette. Selle külgedel asusid tallid ning peahoone vastas paiknes tõllakuur (viimane hävinud). Ajalooliselt Tallinn-Narva maanteelt mõisasüdamesse suunduva tee äärtesse ehitati teisele poole teed kaks väravahoonet.

Majandushooned - karjalaudad, tallid jms - paiknesid enamikus peahoonest kirde ja põhja pool. Peahoonest loodes, Loole suunduva tee ääres asus väike sammastega kaunistatud sepikoda.

Kaasajal on kogu mõisakompleks eravalduses.

Kuna Kolga oli Teise maailmasõja järgselt majandikeskuseks, siis on mõisakompleksist lõuna poole tekkinud 20. sajandi lõpul üsnagi suur maa-asula.

Ajaloolise jaotuse järgi Harjumaale Kuusalu kihelkonda kuulunud mõis jääb kaasajal Harjumaale Kuusalu valla territooriumile.