Uue-Kastre mõis sai alguse Emajõge riivistavast piiskopilinnusest (saksa k Warbecke). Arvatavasti 14. sajandil ehitatud linnust mainitakse ürikutes esmakordselt 1392. aastal. Linnus paiknes jõe vasakkaldal 12 km enne Emajõe suubumist Peipsisse. Seal asuv väheldane küngas oli viimane paik, kuhu oli võimalik linnust ehitada - edasi algavad läbipääsmatud sooalad. Ümber künka kaevati Emajõega seotud vallikraav. Linnuse ülesanne oli võtta nii jõge mööda liikuvatelt laevadelt tolli kui ka kaitsta Tartut vaenlase laevade rünnakute eest.

Linnus sai purustusi 16.-17. sajandil nii Liivi kui ka Poola-Rootsi sõdades, hävis lõplikult aga Põhjasõjas. 3. mail 1704 toimus linnuse kohal jõel merelahing, kus Vene laevastik hävitas 13 laevast koosnenud Rootsi laevastiku. See andis Vene vägedele vaba tee Tartu vallutamiseks. Rootsi eskadrilli lipulaev "Carolus" uputati lahingu käigus jõepõhja, kus see lebavat tänini.

Linnuse hävides tekkis samasse lähikonda mõis, mida saksa keeles hakati linnuse järgi kutsuma Kaster. Mõisasüda rajati linnuse suhtes teisele poole jõge 3 kilomeetrit ülesvoolu ehk siis jõe paremkaldale. Poola ajal kuulus mõis riigile. Rootsi ajal kuulus mõis alguses Oxenstjernadele, hiljem aga von Schwengelnitele. 18.-19. sajandil vahetas mõis palju omanikke. Enne 1919. aasta võõrandamist kuulus ta naabruses oleva Mäksa mõisa omanikule Otto von Essenile.

Mõisa ühekorruseline kivist peahoone on algsel kujul ehitatud arvatavasti 18.sajandi lõpus, kuid 19. sajandil on teda mitmeti ümber ehitatud. Hoone keskosa ilmestab kolme akna laiune kolmnurkfrontooniga keskosa. Enamik kõrvalhooneid paiknes peahoonest ida pool piki Emajõe kallast.

Kaasajal tegutseb mõisa peahoones hooldekodu. Säilinud on ka mitmeid kõrvalhooneid, neist vaatamisväärseim on maakividest kahekorruseline ait.

Jõe teisel kaldal paiknevate linnusevaremete kohale püstitati 1784. aastal kantsi kõrts, mis 20. sajandil jäi varemetesse. 2001-03 rekonstrueeriti kõrstivaremed Emajõe-Suursoo maastikukaitseala keskuseks, avades osalt ka keskaegseid linnusemüüre.

Ajaloolise jaotuse järgi Tartumaale Võnnu kihelkonda kuulunud mõis jääb kaasajal Tartumaale Mäksa valla territooriumile. Linnusevaremed jäävad Luunja valla aladele.