Kahe ürgoru vahelisele kõrgele künklikule seljandikule kui väga kaitstud paika rajati hiljemalt 11. sajandil muinaslinnus, millest kujunes muistse Sakalamaa keskus. Kui ristisõdijad 1223. aasta augustis pika piiramise järel linnuse vallutasid, hakati samasse paika ehitama ordulinnust.

13. sajandil püstitatud esimestele kivirajatistele järgnes 13.-14. sajandi vahetusel ruudukujulise sisehooviga võimsa konvendihoone püstitamine. Kui Eesti aladel oli konvendihoone laadne linnusetüüp keskajal üldlevinud, siis Viljandi linnuse konvendihoone oli üks esimesi omataolisi. Lisaks oli ta Eesti suurim — korrapärase ruudukujulise rajatise küljepikkuseks oli seal 55 meetrit. Linnuse loodenurgas paiknes neljatahuline sihvakas seitsmekorruseline torn, mis kandis Pika Hermanni nime. Konvendihoonet ümbritses lisaks veel madalam eeslinnus, mis järgis ebakorrapärase künka kuju.

Konvendihoone põhjatiivas paiknesid linnusekabel ning ordukonvendi koosolekute pidamise saalina toimiv kapiitlisaal. Linnuse idatiivas paiknes dormitoorium (magamisruum), lõunatiivas aga refektooriumi nime kandev söögisaal. Enamik nimetatud ruume olid kaunistatud rikkalike dolomiidist detailidega, mida on leitud arheoloogilistel väljakaevamistel. Nii linnuse suured mõõtmed, selle 25-meetrine üldkõrgus kui ka selle kohal kõrguv ligikaudu 40-meetrine Pika Hermanni torn jätsid erakordselt võimsa mulje. Suursugusust võimendas veel linnuse paiknemine järvepinnast 30 meetri kõrgusel asuva künka tipus. Saksakeelset nime Fellin kandvast ordulinnusest sai komtuuri residents ning komtuurkonna keskus. Linnusest põhja poole tekkis suur keskaegne kaubalinn.

16. sajandi keskpaigas Eestit tugevalt laastanud Liivi sõjas jäi Viljandi linnus peaaegu terveks, kuid seda põhjalikum oli häving 1620te aastate Rootsi-Poola sõdades, mil linnus muutus praktiliselt täies mahus varemeteks. Kui Rootsi kuningas Gustav II Adolf läänistas 1624. aastal Viljandi koos ümbrusega Jacob de la Gardie'le, sai linnuse asemel alguse Viljandi mõisa (saksa k Schloß Fellin) areng ja õitseng. Mõisakeskus tekkis keskaegsest linnast läände, linna ja pealinnuste vahele.

1700. aastal alanud Põhjasõda hävitas nii mõisa kui ka linnalise asula taas. 18.-19. sajandil muutusid linnusevaremed hiiglaslikuks kivimurruks, kust ehitusmaterjale hankisid nii mõis kui ka linn. Võimsast Viljandi ordulinnusest on meieni seetõttu säilinud kahjuks vaid riismed. Kui veel 18. sajandi alguses oli linnusest alles suur osa müüre, siis järgnevad poolteist sajandit kivimurruna kasutamist hävitas sellest enamiku. Pealinnusest ehk konvendihoonest on säilinud vaid läänesein, selle ümber asunud esimesest eeslinnusest aga praktiliselt vaid väravatorni müürid. Ülejäänud paikades kõrgub rusuhunnikutest välja vaid üksikuid kõrgemaid müüriosi. Vaid lääneseina kõrgus võimaldab aimata linnuse omaaegset võimsust. Mõned ruumid on ka välja kaevatud.

Põhjasõja järgselt kinkis Vene keisrinna Jelizaveta Petrovna Viljandi mõisa oma täditütrele Maria Tðoglokovale. Viljandi mõisale allus tollal nii keskaegsest linnast järele jäänud väike asula kui ka ümberkaudsed alad, sh linnusevaremed. 1749. aastal valmis mõisas ühekorruseline barokne puidust peahoone, mis lammutati 1950tel aastatel. 1860. aastal siirdus mõis von Ungern-Sternbergide perekonna valdusse, mõisa viimane omanik enne 1919. aasta võõrandamist oli Oswald von Ungern-Sternberg.

Mõisa praeguseni säilinud pseudorenessanss-stiilis peahoone valmis ürgoru veerul 1880. aastal Riia arhitekti Robert Pflugi projekti järgi. Alles on ka mõned mõisa kõrvalhooned, mis paiknevad lossimägede ning linna vahelisel alal.