14. sajandi paiku rajati Tarvastu jõe paremkaldal asuvale kõrgele künkale ordulinnus, millest sat foogti residents. On arvatud, et samas paigas võis asuda juba ka eestlaste muinaslinnus, kuid kindlaid märke pole sellest leitud.

Ligikaudu 75x75 meetri suurune erakorrapärane linnus hõlmas kogu loodusliku künka tipu. Hooned paiknesid ringmüüride ääres. Linnuse põhjaküljele Tarvastu jõele ehitati vesiveski, mis jõge paisutades täitis linnust ümbritsevad vallikraavid veega. Veski kaitseks ehitati eenduv danskeritaoline kaitsetorn.

Linnus sai tugevaid purustusi nii Liivi sõjas kui ka Rootsi-Poola sõdades, muutudes seejärel varemeiks. Praegu on sellest järel väheseid müüriosi, vaid vesiveski on 17.-19. sajandeil mõisa veskina taastatud ning ümber ehitatud. 17. sajandil tekkis linnuse asupaika Tarvastu mõis, mis linnuse tõttu sai oma saksakeelseks nimeks Schloß Tarwast. Mõisakeskus püstitati linnusest lõunasse, teisele poole ürgorgu.

Alates 17. sajandi lõpust kuni 1796. aastani oli mõis riigi omanduses, kuni Vene keiser Paul I kinkis ta Henry Joseph de Lambert'ile. 1820tel aastatel said mõisa omanikeks von Mensenkamffid, kelle valdusse jäi Tarvastu kuni 1919. aasta võõrandamiseni.

1820tel aastatel algas ka mõisasüdame esinduslikum väljaehitamine. Peahoone oli mõisas ühekorruseline tagasihoidlik ehitis (hävinud), kuid see-eest püstitati sinna mitmeid esinduslikke kõrvalhooneid. Meie päevini on säilinud 1842. aastal valminud stiilne klassitsistlik ait, samuti samast ajastust pärit viinavabrik.

Keskaegsete linnusevaremete vahele püstitati 1825. aastal von Mensenkampffide klassitsistlik matusekabel, mis on omalaadsete hulgas üks kauneimaid Eestis. Ruudukujulise põhiplaaniga kabelil on obeliskilaadne kõrge katus ning selle kõik neli fassaadi on kujundatud nelja sambaga portikustena. Hõlpsaks pääsemiseks mõisasüdamest matusekabelini paigaldati 1879. aastal üle oru viiv malmist portaalidega rippsild. 1931. aastal viidi sama sild Viljandi lossimägedesse. Linnusevaremed kujunesid sellega seoses mõisapargi kaugeimaks sopiks.