Kalvi mõisat on esmamainitud 1485. aastal. Mõisa tollased omanikud von Loded ehitasid selle välja Eesti ühe suurejoonelisema vasallilinnusena.

Tõenäoliselt 15. sajandil püstitatud linnus oli suur, ca 30-meetrise küljepikkusega trapetsikujuliselt välja venitatud hoone. Linnuse sissepääs (väravaava) paiknes lääneküljel, kahekorruselised ehitised koondusid aga ümber väikese, 10x15 meetri suuruse sisehoovi. Võimalik on, et mõis eksisteeris juba 13.-14. sajandil, nagu ka see, et linnus ehitati 15. sajandil ümber vanemast ja väiksemast ehitisest. Linnuse ida- ja lõunatiib olid laiad, põhja- ja läänetiib aga võrdlemisi kitsad. Linnuse hulk müüre on varemetena alles täninigi.

Mõisa eestikeelne nimi pärineb 16. sajandi omanikelt Kalffidelt. 18. sajandil kuulus Kalvi (saksa k Pöddes) mõis von Essenite aadlisuguvõsale, kes 1770tel aastatel ehitasid vasallilinnuse idatiiva asemele esindusliku kahekorruselise varaklassitsistliku mõisahoone. Selleks lammutati suur osas keskaegse linnuse idatiiva müüridest. Hiljem kuulus mõis von Stackelbergidele. 20. sajandi algul vana peahoone põles, misjärel tollane omanik Nikolai von Stackelberg otsustas uue hoone rajada sadakond meetrit põhja poole paeklindi äärele.

1913. aasta paiku valmis mõisas uus esinduslik historitsistlik peahoone. Hoone arhitektiks on peetud Wladislaw Karpowiczit. Kahekorruselisel massiivsel hoonel on nii neogooti, selle inglise haru tuudorstiili kui ka juugendi mõjutusi. Astmikviil ning sakmelise rinnatisega nurgatornid on mõjutatud linnusearhitektuurist. Omapärane on hoone välisviimistlus: peamiselt tellistest ja pakivist hoone on väljast kaetud õhukeste korrapäratu kujuga graniitplaatidega, mis on kokku laotud nagu mosaiik. See jätab mulje, nagu oleks kogu hoone ehitatud massiivsetest graniitplokkidest. Osalt on kasutatud ka graniiti imiteerivaid tsementplaate.

19. sajandi lõpust ja 20. sajandi algusest pärineb ka enamik tänini säilinud kõrvalhooneid. Enamik majandushooneid asub vana peahoone lähistel - tallid ja aidad enamikus ida pool, laudakompleks aga läänes. Üks kauneimad neist on mõisa sepikoda koos fassaadi kaunistavate ehisnishshidega. Esinduslikud töölistemajad (kaasajal enamikus varemeis) jäid Viru-Nigula tee äärde, viinavabrik (varemeis) aga hoopiski uuest peahoonest loodesse paekalda alla.

Mõisasüdamesse oli (ja on praegugi) kaks sissepääsuteed. Ajalooline (tõenäoliselt keskaegsel trassil) asuv looklev tee viib sinna kihelkonnakeskusest Viru-Nigulast. Teine ja suhteliselt sirge suundub mõisasüdamesse aga lõunast Tallinn-Narva maanteelt Koogu mõisa kohalt. Huvitavalt kombel ei olnud kumbki tee kujundatud alleeks ega ka seotud mõisasüdame planeeringuga.

Mõisasüda jäi von Stackelbergide omandusse ka võõrandamise järel kuni 1940. aastani. Peale Teist maailmasõda on seal asunud nii sanatoorium kui ka profülaktoorium. 1990tel aastatel siirdus mõis eraomandusse. Mõisa peahoone renoveeriti ja restaureeriti põhjalikult 2000-01, misjärel seal avati hotell ja restoran. Selle käigus tehti hoone läänepoolsesse otsa muuhulgas pikk uus tiibehitis ning katusesse tehti rida väljaehitusi. Korrastatud on ka mitmeid kõrvalhooneid, sh sepikoda.

Ajaloolise jaotuse järgi Virumaale Viru-Nigula kihelkonda kuulunud mõis jääb kaasajal Ida-Virumaale Aseri valla territooriumile.