Ristiretkeläiset toivat mukanaan Virossa aikaisemmin tuntemattoman kalkinpolttamisen taidon, mikä tulevina vuosisatoina muutti huomattavasti maan yleisilmettä. Maahan syntyi monumentaalisia kivirakennuksia. Kivestä rakennettiin aluksi uuden vallan symboleita – kirkkoja – mutta melko pian pystytettiin myös ensimmäiset kiviset linnoitukset. Kaikki Viron alueen keskiaikaiset isännät – Tanskan kuningaskunta, Saksalainen ritarikunta sekä Saarenmaan-Läänemaan (Ösel-Wiek) ja Tarton (Dorpat) hiippakunnat – rakensivat keskiaikana linnoituksia Viron rauhattomille aloille. Keskiajan lopussa Virossa oli 30 suurehkoa kivilinnoitusta.

Niin ritarikunta kuin hiippakunnat alkoivat maiden hallitsemiseksi läänittää valloittamiaan aloja saksalaisperäisille vasalleille. Niin syntyivät ensimmäiset kartanot. Lisäksi kartanoita perustivat ritarikunta, hiippakunnat ja luostarit monipuolisen taloudellisen toimintansa tarpeiksi. Keskiajan loppuun mennessä Viroon oli perustettu liki viisisataa kartanoa. Valtaosa niistä oli vaatimattomia puurakennuksia, mutta satakunta kartanoa oli rakennettu kivisiksi linnoitusasunnoiksi eli vasallilinnoiksi.

1500-luvun keskipaikkeilla käyty Liivinmaan sota raunioitti paikalliset linnoitukset ja kiihdytti kartanoiden syntyä. Ritarikunnan ja hiippakuntien kadottua alkoivat entiset vasallit esittää paikallisessa yhteiskuntajärjestyksessä yhä merkittävämpää roolia. Ritaristoina tunnetut aatelisyhdistykset täyttivät Virossa itsehallinnollisia tehtäviä aina ensimmäiseen maailmansotaan asti. Kartanoiden päätyypiksi vakiintui niin kutsuttu ritarikartano, jonka omistajalla oli joukko asemaan perustuvia oikeuksia, mutta myös runsaasti valtiollisia velvollisuuksia. 1700-luvulle tultaessa kartanoiden määrä oli kasvanut noin tuhanteen.

Kartanoiden ja aatelisitsehallinnon kukoistusaika oli 1700-luvulla. Venäjän ja Ruotsin välillä 1700-luvulla alussa käydyssä suuressa Pohjan sodassa Viro antautui Venäjän joukoille sillä ehdolla, että kaikki entisten aatelisten oikeudet ja privilegiot säilytetään, niiden joukossa ns. Baltian erityisasema. Varsinaisesti aateliston oikeuksia jopa lisättiin ja lisäksi täkäläinen aatelisto alkoi esittää merkittävää roolia tsaarin-Venäjän valtahierarkiassa. Niin Vanhasta-Liivinmaasta eli Baltian provinsseista, nykyisen Viron ja Latvian alueesta, tuli tsaarin Venäjän kehittyneimpiä alueita, vaikka samalla lisääntyi myös virolaissyntyisten talonpoikien sorto.

Edustavien kartanomiljöiden massarakentaminen alkoi suuremmassa määrin 1760-luvulla ja kesti yli puolitoista vuosisataa aina ensimmäiseen maailmansotaan saakka. Kaikki meidän päiviimme säilyneet kartanot on muutamaa poikkeusta lukuun ottamatta rakennettu juuri tuolloin. 170-luvulla ja 1800-luvun alussa kartanoita rakennettiin varsinkin Pohjois-Viroon, minne kohosi useita barokkityylisiä ja klassisistisia kartanoita. 1800-luvun jälkipuoliskolla ja 1900-luvun alussa vilkastui rakentaminen myös Etelä-Virossa, minne syntyi joukko historistisia ja jugentyylisiä kartanoita.

Edustavat kartanonsydämet oli suunniteltu suurenmoisiksi kokonaisuuksiksi, joissa keskeisellä paikalla sijaitsevaa linnan kaltaista päärakennusta ympäröi toisinaan jopa kymmenien hehtaarien kokoiset puistot lehtimajoineen, patsaineen, lampineen ja siltoineen. Päärakennuksen edessä oli tavallisesti ns. paraatipiha, jonka varrella olivat kartanon tärkeimmät talousrakennukset eli aitta ja talli-vaunuvaja. Muut rakennukset sijaitsivat nekin lähellä. Päärakennuksen takana sijaitsi tavallisesti puisto.

Niin puistoa kuin myös talousrakennusten ryhmää ympäröi tavallisesti puutarha. Usein puutarhaa taas ympäröi kivimuuri, jossa oli taiteellisia portteja, joskus jopa porttitorneja. Riihi, kuivattamo ja paja oli tulenarkoina rakennuksina sijoitettu loitommas. Suuremmissa ja edustavammissa kartanoissa muodostivat kaikki rakennukset yksityiskohtineen yhtenäisen kokonaisuuden. Myös vaatimattomat ja pienemmät kartanonsydämet olivat usein tyylikkäitä kokonaisuuksia, joissa rakennusten sijainti ja suhteet oli valittu taitavasti ja sulautettu harmonisesti ympäröivään luontoon.

Vuoden 1910 paikkeilla Viron alueella oli ilman karjakartanoita ja pappiloita kaikkiaan 1245 kartanoa. Niistä 1026 oli ritarikartanoita (rittergut). Kruununkartanoita oli 122, privilegioita ja oikeuksia vailla olevia nk. puolikartanoita (landstelle) 69, kaupunkikartanoita 17 sekä ritaristoille kuuluvia kartanoita 11. Kun lukuun lisätään 108 kirkonkartanoa eli pappilaa sekä kuutisensataa pääkartanoista erillään sijaitsevaa rakennusryhmää eli karjakartanoa (hoflage), erilaisten kartanonsydänten kokonaismääräksi tulee noin kaksituhatta.

Kartanot kokivat ensimmäisen takaiskun vuonna 1905, kun Venäjällä puhjenneen vallankumouksen tiimellyksessä poltettiin yli sata kartanoa. Aineellista tuhoa tärkeämpää oli kuitenkin suhteiden ja perinteen katoaminen. Vuoden 1905 levottomuudet rikkoivat nimittäin lopullisesti jo aikaisemmin mutkikkaat ja hankalat suhteet virolaisten talonpoikien ja baltiansaksalaisten aatelisen eliitin välillä. Kun ensimmäinen maailmansota päätti Vanhan-Liivinmaan siihenastisen valtiollisen järjestyksen, niin virolaiset loivat sen raunioille vuonna 1918 itsenäisen kansallisvaltion, jossa sen enempää kartanoilla kuin baltiansaksalaisella aatelistollekaan ei ollut merkittävää sijaa. Vuonna 1919 toteutettu maareformi päättikin kartanoiden aikakauden, koska siinä kaikki ritarikartanot takavarikoitiin niiden omistajilta. Takavarikoidut maat, niiden joukossa arkkitehtonisiksi kokonaisuuksiksi suunnitellut kartanonsydämet, pilkottiin pieniksi uudistiloiksi.

Seurasi kartanonsydänten nopea rappeutuminen. Vain osaan paremmista ja sopivammista kartanoista sijoitettiin kouluja, lastenkoteja, kansantaloja jms. Monet kartanot jäivät vaille selvää tarkoitusta ja ne alkoivat rapistua. Viimeinen kytkös kartanoiden historiallisiin omistajiin katkesi vuonna 1939, kun toisen maailmansodan aikana kaikki Viroon jääneet baltiansaksalaiset, myös entiset aateliset kartanonomistajat, siirtyivät Saksaan ns. Umsiedlungin aikana.

1940-luvulla alkanut neuvostovalta tehosti entisestään kartanoiden rappeutumista. Baltiansaksalaisia aatelisia pidettiin tuolloin pelkästään "talonpoikien verenimijöinä", minkä vuoksi heidän henkistä perintöään saati heidän luomiaan rakennuksia ei kunnioitettu. Kartanorakennuksia arvostettiin tuolloin vain niiden käytännöllisen arvon vuoksi. Rakennuksista säilytettiin ne, joille löytyi käyttöä ja jotka olivat riittävän hyvässä kunnossa kolhoosikeskuksiksi kouluiksi, asunnoiksi tai muuhun tarkoitukseen. Muut rakennukset hävisivät vähitellen, eli ne rapistuivat tai ne purettiin.

Vasta 1960- ja 1970-luvulla alkoivat paikalliset entusiastit arvostaa kartanoita vastoin virallista politiikkaa siellä täällä ja myös salaa kunnostaa arvokkaimpia rakennuksia. 1980-luvulla työltä hävisivät vähitellen myös ideologiset esteet. Vuonna 1991 jälleenitsenäistyneessä Viron tasavallassa ei suhtauduttu saksalaisperäisiin aatelisiin eikä heidän luomiinsa kartanoihin enää pelkästään kielteisesti, kuten oli ollut asianlaita seitsemän vuosikymmenen ajan. Kartanot tunnustetaan tärkeäksi osaksi omaa historiaa sekä länsimaisten kulttuurarvojen kantajiksi, joiden ansiosta Viro on ollut yli seitsemän vuosisataa myös osa Eurooppaa.

Pitkät vuosikymmenet tekivät kuitenkin työnsä. Vuoden 2005 alussa oli tekijän tietojen mukaan Virossa säilynyt (pappiloita ja karjakartanoita lukuun ottamatta) enemmän tai vähemmän alkuperäisessä muodossaan kartanorakennuksia 414 kappaletta eli kokonaismäärästä vajaa kolmannes. Määrään voi lisätä runsas kaksisataa vahvasti remontoitua ja raunioitunutta rakennusta. Muut ovat hävinneet.

Satakunta säilynyttä kartanoa ovat nykyisin onneksi huippukunnossa ja sopivassa käytössä. Niitä voi häpeilemättä esitellä jopa Viron käyntikorttina.