Keskaega tagasi ulatuv Paju mõis (saksa k Pajomois) oli Saaremaa idaosas asuvate ordu alade halduslikuks keskuseks. Hiljem (Liivi sõja järgselt) oli mõis kuni 1798. aastani riigi omanduses, mil Vene keiser Paul I kinkis ta kapten Carl Johannes von Lodele. Üsna palju erinevaid omanikke vahetanud mõis kuulus selle järgselt nii von Moelleritele, von Ditmaritele kui ka von Buxhoevdenitele. Alates 1846. aastast kuni 1919. aasta võõrandamiseni oli mõis Freytag von Loringhovenite aadliperekonna omanduses. Mõisa viimane võõrandamiseelne omanik oli Léon Karl Baron Freytag von Loringhoven.

Klassitsistlik mõisakompleks ehitati Pajul välja arvatavasti 19. sajandi alguses, mil mõis siirdus eravaldusse. Kivist peahoone on ühekorruseline saaremaalikult lihtne hoone. Peahoone esist väljakut ääristavad teine teise vastas paiknevad ait ning tall-tõllakuur, mille esiküljed on kujundatud neljale massiivsele sambale toetuvate katusealustena. Algselt kaunistasid hoone fassaadi saaremaale omased dolomiidist lõvikujud.

Teise maailmasõja järgselt oli mõisas kolhoosikontor. 1960ndatel aastatel ehitati hoone ümber viljaaidaks ning on säilinud tänini tollal omandatud väliskujul. Alles on ka mõisa ait. Tall-tõllakuur on varemeis, sellest on säilinud müürid ning katusealuse neljatahuselised kivisambad.

Ajaloolise jaotuse järgi Saaremaale Kihelkonna kihelkonda kuulunud mõis jääb kaasajal Saaremaale Kihelkonna valla territooriumile.