Aastrup Klosters portfløj er opført i 1613 under ægteparret Else Marsvin og Enevold Kruse.

Godset er ombygget i 1700-tallet, hvor vinduerne fik større sandstensindfatninger og murene blev kalket lyserøde. Sydfløjen er opført i 1856, hvor bygningens kamtakkede gavle også kom til. Bygningsanlægget er endnu delvist omgivet af en voldgrav.

I perioden 1928-1985 fungerede godset som kloster for enlige, ugifte kvinder af højere stand, deraf navnet.
Herregården blev fredet i 1918 og ejes i dag af det Grevelige Dannemandske Stift.
Rønnow Arkitekter har i perioden 1997-2006 etapevist gennemført udvendig istandsættelse af facader, tag og vinduer. Arbejderne er sket med økonomisk støtte fra Kulturarvsstyrelsen.