Kloostri mõis (saksa k Klosterhof) asutati keskajal Lihula tsistertslaste nunnakloostri majandusmõisana. Kuna Lihula klooster rajati juba 13. sajandil, siis võib ka Kloostri mõis olla sama vana või ainult veidike noorem. Tõenäoliselt oli 13.-14. sajandil ta igatahes juba olemas. Nagu kloostrite majandusmõisatele tavaline, püstitati ka siin peahoone kindlustatud kiviehitisena. Ka oma nime on paik saanud kloostrile kuulumisest.

Põhjasõja järgselt kuulus mõis algul Rootsi riigile, kes pantis ta 1591. aastal Caspar von Tiesenhausenile. 1611. aastal kinkis Rootsi kuningas Karl IX mõisa Johann von Derfeldenile. Von Derfeldenite aadliperekonna omandusse jäi mõis enam kui kaheks sajandiks. Nemad ehitasid 17. sajandil keskpaigas välja ka esindusliku kahekorruselise barokse kivist peahoone.

Tollal valminud hoonet ilmestas kaks massiivset mantelkorstent. Madal esimene korrus jäi majanduskorruseks, seevastu teine kõrgete ruumidega korrus oli elu- ja esinduskorrus. Hoonet kattis kõrge murdkelpkatus. Vanemad (keskaegsed) ehitusosad jäid selle ümberehitusega uue peahoone sisse; peamiselt esimese korruse keskosas. Hoone eripäraks oli ta paiknemine tagaküljega vahetult vastu kõrge järsaku serva. Vanasti tekitas see kauneid kaugvaateid peahoonest Matsalu roostikule ja lahele ning ka vastupidi. Kaasajal varjab nimetatud vaateid suures osas võsa.

1829. aastal siirdus mõis von Fersenite valdusse, kelle kätte ta jäi kuni 1919. aasta võõrandamiseni. Viimaseks võõrandamiseelseks omanikuks oli Axel Nikolai von Fersen. 18.-19. sajandi lisas mõisale ka hulganisti kõrvalhooneid. Suur osa neist paiknes peahoone esise avara väljaku (auringi) äärtes, ülejäänud vahetus läheduses ning peahoonest edela pool. Mõisa peahoone ette viis Lihula-Penijõe-Lautna maanteelt 250 pikkune sihitee, mis kujundati pärnaalleena. Sissesõiduteed peahoone esisele auringile kaunistasid baroksed voluutkatustega väravapostid. Mõisa tiigid arvatakse pärinevat veel kloostri ajast, mil ühele kloostri majandusmõisale oli kalakasvatustiikide rajaimine tüüpiline.

Haruldane rootsiaegne kivimõis säilis praktiliselt ümber ehitamata kujul kuni 1939. aastani, mil kasutuseta seisnud hoone puitosad lammutati. Kiviosa enamik on varemetena säilinud meie päevini, välja arvatud väikesed varingud. 1990tel aastatel on hoone varemed võsast puhastatud. Enamik kõrvalhooneid on kas varemeis, hävinud või tundmatuseni ümber ehitatud.

Ajaloolise jaotuse järgi Läänemaale Kirbla kihelkonda kuulunud mõis jääb kaasajal Läänemaale Lihula valla territooriumile.