Kui endist Saare-Lääne piiskopkonda valitsema tulnud Taani kuninga vend hertsog Magnus jõudis 1560. aastal Saaremaale, müüs ta piiskopkonnale kuulunud Meedla mõisa lõunapoolsed alad 1560. aastal Lukas Tollile. Enda kätte - s.o Taani riigi kätte - jättis ta endise piiskopimõisa põhjapoolse tüki, kuhu ta rajas uue mõisakeskuse. Seda fakti võibki lugeda Elme mõisa alguseks. Mõisa asutajale viitab ka selle saksakeelne nimekuju Magnushof.

Elme mõis kuulus riigile kuni 1798. aastani, mil Vene keiser Paul I kinkis ta Saaremaa Rüütelkonnale. Rüütelkonnamõisaks jäi Elme kuni 1919. aasta võõrandamiseni.

Ühekorruseline lihtne kivist peahoone püstitati mõisa kahes järgus - vanem osa arvatavasti 19. sajandi algul, uuem osa sama sajandi lõpul. Võõrandamisjärgselt asus hoones kool. Kaasajal on peahoone varemetes, säilinud on pika hoone müürid. Alles on ka mitmeid kõrvalhooneid, samuti nende varemeid.

Saaremaale Kaarma kihelkonda kuulunud mõis jääb kaasajal Kaarma valla territooriumile.