Valgejõe alguseks oleva Porkuni järve saarele rajas Tallinna piiskop Simon von der Borch 1479. aastal oma pealinnuse. Rajaja nime järgi hakati kohta kutsuma Borkholmiks, mis eesti keeles mugandus Porkuniks.

Ebakorrapärane kastellilaadne linnus ligikaudse küljepikkusega sada meetrit järgis saare kõrge põhjatipu väliskontuure. Linnuse välismüüri nurkades olid ümarad tornid ja kagumüüri keskosas väravatorn. Hooned paiknesid linnusemüüride ääres, keskel asus väike kirik.

Linnus purustati Liivi sõjas ning seda hiljem enam ei taastatud. Kaasajal on linnusest säilinud ainult viiekorruseline ruudukujulise põhiplaaniga väravatorn, mis on alt neljatahuline, ülalt kaheksatahuline. Kaheksatahuline osa lisati tornile arvatavasti hiljem. Veelgi hiljem — tõenäoliselt mõisa ajal 19. sajandil — lisati tornile sakmeline rinnatis. Restaureeritud väravatornis paikneb Paemuuseum, tel. 329 3881, 514 4836.

Hilisematel sajanditel asus Porkunis rüütli- ehk eramõis, mis on kuulunud nii von Tiesenhausenite, von Ungern-Sternbergide kui ka von Essenite valdusse. Alates 1869. aastast kuni võõrandamiseni 1919 oli mõis von Rennenkampffide omanduses, mõisa viimane omanik oli Ewald von Rennenkampff. Tema käsutuses oli osa mõisasüdamest kuni 1939. aasta ümberasumiseni.

Mõisasüda paikneb keskaegsest piiskopilinnusest mõnikümmend meetrit lõuna pool, hõlmates järvesaare lõunapoolse otsa. Mõisa peahoone on 1874. aastal von Rennenkampffide ajal valminud esinduslik historitsistlik kiviehitis. Hoones on segunenud tuudorstiil ja neorenessanss. Keskelt ja vasakult kahekorruselise, põhiosas aga ühekorruselise hoone paremas nurgas on kaheksatahuline torn. Hoone ehteks on keskrisaliidi tuudrorstiilis tornikestega astmikviil, mille peened detailid on paekivist meisterlikult välja tahutud.

Alates 1920test aastatest kuni praeguse ajani on mõisa peahoone vaegkuuljate kooli päralt. Peahoone vastu teisele poole auringi on 1950tel aastatel ehitatud uus neoklassitsistlik koolihoone. Säilinud on ka mitmeid 19. sajandi alguse kõrvalhooneid, sh kaaristuga ait. Osa kõrvalhooneid (viinavabrik ja magasiait) asetseb ka väljaspool järvesaart.

Ajaloolise jaotuse järgi Virumaale Väike-Maarja kihelkonda kuulunud mõis jääb kaasajal Lääne-Virumaale Tamsalu valla territooriumile.