Varaseimad teated Kärsa mõisast (saksa k Kersel) pärinevad 1456. aastast. Pikkadel sajanditel paljude omanike käes olnud mõisa omandasid 1840. aastal von Brevernid, kelle kätte jäi ta kuni võõrandamiseni 1919. aastal. Mõisa viimane omanik oli Ernst von Brevern.

Arvatavasti 1800. aasta paiku ehitatud ühekorruseline peahoone oli stiilne varaklassitsistlik ehitis. Peahoone keskosal oli madal astmikfrontoon, selle ees paiknes ümarsammastele toetuv lahtine katusealune. Peahoone vastas, teisel pool auringi asetsesid teine teisel pool sissesõiduteed klassitsistlikud ait ja tall-tõllakuur.

1960. aasta paiku ehitati peahoone tundmatuseni ümber kahekorruseliseks ehitiseks, seal asusid nii korterid, sidejaoskond kui ka kohalik rahvamaja. Hoone lagunes ja varises 1980ndate aastate paiku. Praegu on nii peahoone kui ka kõik kõrvalhooned varemeis. Stiilse viinavabriku klombitud maakividest müürid, mis olid veel 1999 püsti, on ka nüüdseks suuresti lammutatud.

Ajaloolise jaotuse järgi Virumaale Väike-Maarja kihelkonda kuulunud mõis jääb kaasajal Lääne-Virumaale Väike-Maarja valla territooriumile.