Arvatavasti 14. sajandil ehitati Saare-Lääne piiskopkonna alale Liivi jõe äärsele kõrgele künkale, 3 kilomeetrit Kullamaalt ülesvoolu Koluverre kivilinnus, mis sai oma saksakeelse nime piiskopkonna vasallisuguvõsa de Lode järgi. Esimest korda on Koluvere linnust mainitud piiskop Winrich von Kniprode ajast, kes valitses 14.-15. sajandi vahetusel. Nimetatud linnuse punased kõrged tornikatused jäävad veel kaasajalgi silma igale möödasõitjale.

Linnus kujutab endast umbes 45x45 meetri suurust veidi trapetsikujulist sisehooviga kastelli, mille kolmel siseküljel — loode-, kirde- ja kagutiivas — paiknevad hooned. Sissepääs linnusehoovi asub edelatiivas, kus paikneb spetsiaalne kahekorruseline väravaehitis. Värava kõrval linnuse lõunanurgas on sihvakas, ligi 35-meetri kõrgune neljatahuline kaitsetorn ligikaudsete mõõtmetega 10x10 meetrit. Linnuse läänenurgas paikneb paksude müüridega ümar suurtükitorn ligikaudse läbimõõduga 15 meetrit. Kogu linnus on ümbritsetud laia vallikraaviga, mis põhja pool läheb üle suureks paisjärveks. Seda täidavad veskitammiga üles paisutatud Liivi jõe veed. Nii paikneb kogu linnus kunstlikul saarel ning sinna pääseb vaid silla kaudu.

Koluvere piiskopilinnuse — hilisema mõisa — täpsem ehituslugu on uurimata, nii nagu on teadmata ka ruumide keskaegne paigutus. On vaid teada, et suurtükitorn on ehitatud tõenäoliselt 16. sajandi esimestel kümnenditel, ülejäänud kompleks pärineb 14.-15. sajandist. On arvatud, et linnuse vanim osa võib olla neljatahuline kaitsetorn, mis võib pärineda 14. sajandi algusest.

Liivi sõja ajal käis Koluvere linnus mitu korda käest kätte. 1560 müüs Saare-Lääne viimane piiskop piiskopkonna alad Taanile. 1563. aasta septembris oli rootslastel plaan Koluvere endale vallutada, milleks nad vedasid linnuse alla kuus suurtükki. Selle plaani nurjasid linnuse alla ilmunud poolakad, kellega Rootsi sõjajalal oli. Tulemuseks oli rootslaste põgenemine, mille käigus nad jätsid maha isegi suurtükid. Mõned kuud hiljem, 1564. aasta kevadtalvel, piirasid rootslased Koluveret uuesti Hinrich Horni juhtimisel. Seekord said nad pika piiramise järel Koluvere kätte.

23. jaanuaril 1573. aastal lõid rootslased Koluvere all puruks endast palju ülekaalukama Vene peaväe, kelle eesmärgiks oli olnud rootslaste käes olevate linnuste — sh Koluvere — vallutamine. 8. oktoobril 1573 pidid rootslased pantima Koluvere sakslastest mõisameestele, kuna neil ei olnud linnuse kaitsjatele palka maksta. Mõisamehed müüsid Koluvere koos ülejäänud Läänemaaga 12. jaanuaril 1575 taanlastele. 1576. aasta veebruari algul alistus Koluvere ilma lahinguteta ülekaalukatele Vene vägedele.

Venelaste kätte jäi Koluvere 1581. aastani, mil seda ründasid Rootsi väed Carl Hinrichseni juhtimisel. 22. juulil 1581 venelased alistusid. Olgugi et sõja ajal mitmeid kordi piiratud ja vallutatud, sai Koluvere linnus tõenäoliselt küllaltki vähe purustusi. 1646 kinkis Rootsi kuninganna Kristiina Koluvere linnuse koos ümbritseva maaga von Loewenite suguvõsale, millega endine linnus hakkas elama oma teist elu mõisana ehk lossina (saksa keeles Schloß Lode).

1771. aastal müüsid von Loewenid Koluvere lossi Vene vürst Grigori Orlovile. Orlovi surma järel läks Koluvere loss 1783 Vene keisrinna Katariina omandusse, et pagendada sinna Württenbergi noor printsess Augusta Carolina. Linnusena loodud Koluvere sobis selleks ideaalselt. Pagendamise täpsed põhjused ei ole teada, välja on pakutud mitmeid versioone. 1786. aastal Koluverre saabunud Augusta Carolina sai olla Koluveres pagenduses ainult kaks aastat, kui ta 1788 saladuslikel asjaoludel suri ja maeti Kullamaa kirikusse.

Peale keisrinna Katariina II surma siirdus Koluvere üsna pea kingitusena Fridrich Wilhelm von Buxhoevdeni omandusse. Arvatakse, et Fridrich Wilhelmi abikaasa Natalja oli keisrinna Katariina II sohilaps. Von Buxhoevdenite suguvõsa valdusse jäi mõis kuni mõisate võõrandamiseni 1919. aastal. Mõisa viimasteks omanikeks olid Elisabeth ja Leo von Buxhoevdenid.

18.-19. sajandil ehitati keskaegne linnus mitmel korral lossilaadselt ümber. 18. sajandi ümberehitustel domnineerisid barokk- ja rokokoostiil. Peale 1840. aasta hävitavat tulekahju taastati loss aga neogooti stiilis — akna- ja ukseavad muudeti teravkaarseteks ning torniotstele lisati kindluslikud sakmelised ääred, mis varjasid lamedaid katuseid. Rikkalikus neogooti stiilis kujundati ka lossi interjöörid. 1905. aasta mässu ajal põles loss taas müürideni paljaks, misjärel ta taastati küll enam-vähem endisel väliskujul, kuid mitte enam endises hiilguses, eriti sisekujunduse osas.

Üle vallikraavi kulgeva silla otstesse paigutati 1811. aastal obeliskid. Silla pikendusele rajati suurejooneline aitade-tallide kompleks, kus sissepääsu teljele püstitati kaunis kolmekorruseline kaaravaga väravatorn. Nii tuli linnuse sisehoovi pääsemiseks läbida kaks väravaehitist-üks keskaegne, teine uusaegne.

Peale Teist maailmasõda paiknes lossis raskestikasvatatavate laste koloonia. Pärast järjekordset tulekahju ehitati loss 1960tel aastatel veidi ümber. Väliskujus lisati mõlemale tornile järsud kivikatused ning teravkaarsed aknad muudeti neljakandilisteks — sellega taastati osaliselt lossi keskaegset välimust. Alates sellest ajast kuni 1990te lõpuni paiknes lossis vaimsete puuetega inimeste hooldekodu. Hiljem ehitati hooldekodule lossist kagusse uued elukorpused. Praeguseks on hooldekodu elanikud lossist välja kolinud ja loss tühi. Alates 2006. aasta kevadest on loss eraomanduses.

Koluvere piiskopilinnus (mõis) on seega säilitanud põhiosas keskaegse linnuseliku väliskuju. Samas on siseruumid mitmete tulekahjude jooskul hävinud ning palju kordi ümber ehitatud, nii et keskajast pärinevad seal suuresti vaid müürid, tornid ja väravaava, samuti mõningate keldrite võlvid.

Keskaegsest linnusest lõuna ja lääne pool asub hulk mõisaaegseid kõrvalhooneid. Neist kauneim on 20. sajandi algul Liivi jõele ehitatud neogooti stiilis väike elektrijaamahoone. Tegemist on ajaloolise veskihoone juurdeehitusega - veski oli samas paigas asetsenud tõenäoliselt juba keskajal, kui rajati linnust ümbritsev vallikraav, kuhu tuli vesi üles paisutada. Kaunis on ka Liivi jõel paiknev kolme avaga kaarsild ning selle lähedal paiknev viinavabrikuhoone. Nimetatud maanteesild on kaunistatud vallikraavi sillaga sarnaste obeliskidega.

Suur osa mõisa kõrvalhooneid on säilinud, kuigi mitmeti ümber ehitatid kujul. Kahjuks on ümberehitused rikkunud just tallikompleksi ja ta kaunist väravatorni. Torni kaaravad on kinni laotud ning linnusesse viiv maaililine otsetee on kaasajal suletud.

Lossi idaküljel asub suur müüriga piiratud park, mis ulatub poole kilomeetri kaugusel idas kulgeva Risti-Virtsu maanteeni. Pargi lõpus on ümara põhiplaaniga klassitsistlik aiatempel. Osa parki asetseb ka ülespaisutatud Liivi jõe kallastel, lossist põhja ja lääne pool. 20. sajandil on pargi lõunaserva püstitatud Koluvere hooldekodu uued hooned.

Mõisasüdamest pooleteise kilomeetri kaugusele lõunasse, Virtsusse suunduvale maanteele ehitati kaks teineteisele järgnevat suursugust kivisilda - üks Liivi jõele, teine Liivi jõkke suunduvale väikesele Marimetsa ojale. Nimetatud sildade vahele püstitati kaunis kaaravadega Jõgeva (Jõgevahe) kõrtsihoone. Ajaloolised sillad on säilinud, kuid kõrtsihoone on varemeis. Kaasaegne maantee kõrtsiesist ja sildu küll enam ei läbi, vaid kulgeb õgvendatuna 150 meetri kaugusel ida pool.

Ajaloolise jaotuse järgi Läänemaale Kullamaa kihelkonda kuulunud mõis jääb kaasajal Läänemaale Kullamaa valla territooriumile.