Das Gut wurde erstmals 1466 erwähnt und gehörte den Familien Gilsen, von Rosen, von Zoege, von Benckendorff, von Krusenstern und von Uexküll-Güldenbandt. Die Ruinen der im Livländischen Krieg zerstörten Vasallenburg wurden im 17.-18. Jh. als ein stattliches Schloss aufgebaut, das seine jetzige Form im Jahre 1790 erhielt.

Im Gut wohnte über mehrere Jahrzehnte der weltberühmte Entdeckungsreisende und Seefahrer Adam Johann von Krusenstern, der in Kiltsi auch gestorben ist. Seit den 1920er Jahren befindet sich im Gebäude eine Schule, seit dem Jahre 2000 ist das Gebäude gründlich restauriert worden. Museumzimmer: Tel. +372-325-3411.

Nach der historischen Aufteilung gehörte das Gut zum Kirchspiel Väike-Maarja/Klein-St. Marien, Kreis Virumaa/Wierland; nach der heutigen Aufteilung gehört das Gut zur Gemeinde Väike-Maarja in Lääne-Virumaa.