Praeguse Rakvere kesklinnas, 25 meetri kõrguse Vallimäe tipus paiknes enne 13. sajandit Tarvanpääks nimetatud eestlaste muinaslinnus, mis toimis Virumaa pealinnusena. Linnuse asukoha tingis Vallimäeks kutsutav kõrge ning järskude kallastega vallseljak. Teisejärguline polnud vast ka linnuse toimimine teetõkkena: ida poole Jõhvi suunas kulgev kaugtee — hilisem Tallinna maantee — asus praktiliselt linnuse põhjanõlva all, mis võimaldas linnusest kontrollida kogu liiklust. Eesti muinaslinnusele iseloomulikku kivivalli Rakveres ei olnud, looduslikku mäge oli siin tugevdatud vaid puitehitistega.

1220. aastal vallutasid Tarvanpää muinaslinnuse taanlased, hakates selle asemele rajama oma linnust. Puidust kindlustused jätsid taanlased esialgu alles, piirdudes suuresti vaid nimevahetusega. Eestikeelse Tarvanpää tõlkimisel saksa keelde saadi nimekuju Wesenberg. Selle nime all on nii linnust kui ka hilisemat linna tuntud kuni 20. sajandi alguspooleni, mil saksakeelsed nimed unustusehõlma vajusid. Puidust tõkete taha ehitati küll juba toona mitmeid kivihooneid. Taanlaste linnust on esmamainitud 1252. aastal.

Arvatakse, et alles kusagil 13. sajandi lõpul asendati linnuse puitehitised kivist ringmüüriga, andes sellega Rakverele tüüpilise kivilinnuse välimuse. Ebakorrapärase nelinurgana ehitatud kivilinnuse külje pikkus oli umbes 50 meetrit ja müüride kõrgus 6 meetrit.

Tõeline ehitus läks Rakvere vallimäel lahti aga alles peale 1346. aastat, mil Taani loovutas linnuse koos kogu Põhja-Eestiga Liivi ordule. Tollaste ehitustööde eesmärgiks oli rajada võimas konvendihoone laadne pealinnus, kus ruumid asetseksid ümber sisehoovi neljas tiivas. Linnuse säärane planeering oli keskajal Liivimaal tüüpiline — meie päevini on tervena säilinud Kuressaare linnus, kuid sarnase ülesehitusega olid ka Tallinna, Narva, Pärnu ja Viljandi linnused nii ordu kui ka piiskopkondade aladel.

Rakveres planeeriti pealinnuse küljepikkuseks umbes 40 meetrit, kuid seda ei ehitatud välja korraga, vaid järk-järgult kahesaja aasta jooksul. Peale linnuse ordule allutamist 14. sajandil ehitati esmalt välja linnuse põhjatiib, milleks taaniaegset linnust pikendati põhja suunas. Pealinnuse ida- ja läänetiib, samuti ka võimas lõunatiib, rajati 15.-16. sajandil. Sellega saavutas linnus ka oma lõpliku, ligikaudu 15-meetrise kõrguse. Lõunatiiva nurkades paiknesid saledad neljatahulised tornid, mis ulatusid linnusemüüridest veel umbes kümne meetri võrra kõrgemale.

Pealinnusest lõunasse piki Vallimäge püstitati veel pindalalt suur, kuid madalam eeslinnus, mille müüride ääres paiknesid mitmed hooned. Linnuse sissepääs asus ta idaküljel — kagupoolse nurgatorni külje alla rajati väravaehitis koos seda kaitsnud poolümara rondeeli ehk suurtükitorniga.

Linnusemäe idajalamile tekkis tõenäoliselt juba 13. sajandil alev, mis üsna pea arenes väikeseks linnaks. 15.-16. sajandil oli linnas juba mitmeid esinduslikke kivihooneidki. 16. sajandi algul rajati linnusest põhja poole lisaks veel frantsisklaste klooster — see kujutas endast arvatavasti kivist kaitseehitist hilisema mõisa — praeguse teatri — kohal teisel pool Narva suunduvat teed.

Liivi sõjas langes Rakvere linnus koos linna ja ümbruskonnaga 1558. aastal ilma lahinguteta venelaste kätte. Linnuses paiknes toona vaid 11 võitlusvõimelist sakslast, Lossifoogt ei hakanud seetõttu vastupanu osutama, vaid põgenes koos varustusega Tallinna. Linnuse kätte saanuna täiendasid venelased selle lõunapoolset eeslinnust mitmete täiendavate kindlustustega. Selleks vajalik ehitusmaterjal saadi nii linna kivimajade kui ka kloostri ehitiste lammutamisest. Linnast säilis toona tugevalt purustatuna vaid kirik. Venelased ise elasid eeslinnuse aladele ehitatud puitmajades; keskaegset linnusetuumikut kasutasid nad peamiselt vaid laohoonetena.

Kui Tallinn andis end 1560 rootslaste alla ning Rootsi sõjavägi maabus Läänemere idakaldal, üritasid rootslased venelaste vallutatud alasid enda kätte haarata. Esimese sõjakäigu Rakvere alla korraldasid rootslased 1574. aasta jaanuaris koos neile appi tõtanud šotlaste ning sakslastest mõisameestega. Ründajaid oli kokku 21 jalameeste lipkonda ja 11 mõisameeste eskadroni. Neil oli kasutada kokku kuus suurtükki.

Samas alahindasid pealetungijad venelaste kaitsevõimet ning Rakvere linnuse juures venelaste tehtud kindlustustöid. Alates 15. jaanuarist kuni märtsi alguseni tulistasid piirajad linnust tugevalt, lastes ühe torni täiesti puruks. Olles linnusele kolm korda tulutult tormi jooksnud ning kaotanud 1000 meest, ei andnud linnus aga ikkagi alla. 17. märtsil tekkis linnuse piirajate sakslaste ja šotlaste vahel aga tõsine tüli, mille tulemusena tapeti 1500 šotlast ja 30 sakslast. 25. märtsil 1574 loobuti seetõttu linnuse edasisest piiramisest.

Uue katse Rakvere võtmiseks tegid rootslased 1581. aastal, seekord aga juba võitlusvõimelisema sõjaväega. 20. veebruaril 1581 jõudis Rootsi sõjavägi väejuhi Pontus de la Gardie juhtimisel Rakvere alla, alustades linnuse tulistamist suurtükkidest. Seekord õnnestus piirajatel linnuses olevad puitehitised suurtükkidega "tuliseid kuule" kasutades põlema panna. Kui mõne päeva pärast saabusid Rakvere alla lisaks veel müüride purustamisele spetsialiseerunud jõud, andsid venelased 4. märtsil 1581 alla. Rootslased tagasid linnuse kaitsjate vaba läbipääsu Venemaale.

Kakskümmend aastat hiljem sai Rakverest Rootsi-Poola sõja ajal taas sõjatanner. 1602-05 oli Rakvere poolakate valduses. Sellega kaasnenud lahingute ajal purustati nii linnus kui ka taastatud asula taas põhjalikult. Vahepeal taastatud väikest asulat tabas järjekordne häving 1703. aastal Põhjasõjas, mil Rakvere põletati taas kord maani maha. Nendes sõdades jäi ka Rakvere linnus lõplikult varemetesse.

Peale orduriigi kadumist läänistati Rakvere linnuse ala 1618 von Brederode suguvõsale, pannes sellega aluse Rakvere mõisale (Schloß Wesenberg). Alguses kasutas mõisnik arvatavasti linnuse tervemaid hooneid, kuid üsna pea rajas ta uue mõisasüdame frantsisklaste kloostri varemetele. Alates 1669. aastast kuulus mõis von Tiesenhausenite perekonnale. 19. sajandi lõpul siirdus mõis Edler von Rennenkampffide perekonna valdusse. Mõisa viimane omanik enne 1919. aasta võõrandamist oli Karl Andreas Edler von Rennenkampff.

Praeguseni säilinud mõisa hoonestus pärineb 18.-19. sajandist. 18. sajandi keskpaigast pärineb mõisa ait, mille hoovile avaneval kolmnurkfrontoonil on meisterlik rokokoo-kaunistus. Mõisa klassitsismi sugemetega historitsistlik peahoone on ehitatud 1850. aasta paiku. Algselt ühekorruseline hoone on 1920tel aastatel ehitatud kahekorruseliseks, mil ta ehitati ümber rahvamajaks. 1930tel aastatel ehitati mõisahoone vasakpoolsesse otsa suure saalikorpusega teatrihoone. Praegu kasutab Rakvere teater kogu säilinud mõisakompleksi, barokne ait on 1990tel aastatel renoveeritud teatri väikeseks saaliks.

Sõdades hävinud linn taastati 18. sajandi algul taas väikese asulana. Linna areng sai suurema hoo sisse alles 1783. aastal, mil ta muutus seoses haldusreformiga kreisilinnaks ehk maakonnakeskuseks. Ka kaasajal täidab ligi kahekümne tuhande elanikuga linn maakonnakeskuse funktsioone, kuigi kaasaegne Lääne-Virumaa hõlmab vaid ajaloolise Virumaa lääneosa. Keskaegsest linnast on tugevalt ümberehitatuna säilinud vaid endine Mihkli kirik. Ülejäänud hooned on 16.-18. sajandi sõdades hävinud ning nende asemel paiknevad peamiselt 19. sajandi madalad puithooned.

17.-18. sajandil kivimurruna kasutatud linnusevaremeid hakati maalilise jalutuskohana väärtustama 19. sajandil. Varemete esimesed korrastustööd toimusid 1901-02. Kõige rohkem on linnusest järel konvendihoone lõunatiivas — selle müürid on tänini säilitanud keskaegse kõrguse, samuti on väga palju alles ka lõunakülje nurkades asuvast kahest keskaegsest tornist. Kagutornis lehvib alates 1990te algusest Eesti rahvuslipp. Palju on alles ka väravaehitist kaitsnud rondeelist ning mitmeid lõike ida- ja läänemüüridest.

1975-88 toimunud konserveerimistööde käigus linnusevaremed korrastati ja konserveeriti. Varemetesse on rajatud linnuse ajalugu tutvustav muuseum, külastajad pääsevad säilinud lõunakülje kõigile kolmele korrusele ning tornide vahel asetsevale müüri kaitsekäigulegi. Muuseumi eeshoovi edelanurgas tegutseb Schenkenbergi pubi, väravarondeelis aga käsitööpood. Linnus on muutunud ka mitmesuguste vabaõhuürituste läbiviimise kohaks.