Haapsalu külje all asuvat mõisat on ladinakeelse nime Alba Curia nime all mainitud esmakordselt 1323. aastal. Hiljem käibis paiga nimena saksakeelne tõlge Weissenfeld (sama nimi eetikeelsel kujul - Valgevälja - on kaasajal kandunud üle lähedalasuvale külale).

Mõis on erinevatel aegadel olnud paljude omanike käes, 16. sajandi omanike Gilsenite nimest tuleneb mõisa eestikeelne nimi. 1871. aastal ostis mõisa arst Karl von Hunnius, von Hunniuste suguvõsale kuulus mõisasüda kuni 1939. aastani. Mõisat ei tasu segamini ajada Virumaal asuva Kiltsi mõisaga, mis on Läänemaa Kiltsi mõisast palju tuntum.

Tõenäoliselt 14.-15. sajandil ehitati mõis välja kindlustatud elamuna ehk vasallilinnusena. Liivi sõjas sai linnus aravatavasti mitmeid purustusi. 17. sajandi alguses ehitati ta ümber kahekorruseliseks renessanss-stiilis mõisahooneks, säilitades samas arvatavasti hoone keskaegse väikelinnusest pärineva põhimahu ja -kuju.

Tollal lisati hoonele ka kolm kaarjat renessanssportaali. Suurem peaportaal asetati hoone fassaadile, seda kroonis lõvimaskaroon. Kaks väiksemat samas stiilis siseportraali asetati aga vestibüüli külgseintesse. Kiltsis meie päevini säilinu on praktiliselt ainus renessanss-stiili ilming Eesti mõisates. Tõenäoliselt jättis renessanss mõisaarhitektuuri siiski suurema jälje, kuid hilisem aeg (eriti Põhjasõja aegsed rüüstamised) on need hävitanud.

18. sajandil lisati kuubikujulisele keskajast pärinevale hoonele pikad ühekorruselised tiivad.

Peale Teist maailmasõda Vene sõjaväe käes olnud hoone põles 1993. aasta tulekahjus varemeteks. Pikad tiibhooned olid varemetes juba varem. 2001-02 toimusid varemete tagaküljel suuremahulised varingud. Eesti mõisaarhitektuuris unikaalsed renessanssportaalid säilisid tervena kuni 2000. aastani, mil vandaalid purustasid peaportaali lõvimaskarooni. 2002. aastal murti varemetest välja ja varastati hinnalised külgportaalid.

Mõisa ümbrus on risustatud nõukogude sõjaväelennuvälja ehitistest ja nende varemetest. Säilinud on mõningate mõisa kõrvalhoonete varemed (reeglina sõjaväe poolt ümber ehitatud kujul).

Ajaloolise jaotuse järgi Läänemaale Ridala kihelkonda kuulunud mõis jääb kaasajal Läänemaale Ridala valla territooriumile.