Slottet brændte næsten ned til grunden den 19. marts 1893. Siden er det blevet genopbygget i samme stil. Denne aften i år 1893 havde der været en mindre sammenkomst på slottet.
Der var kommet en ny stiftsdame, som skulle bydes velkommen. På slottet boede på den tid en ældre og svagtseende stiftsdame. Hun hed Von Scholten. Hun ville tænde et stearinlys, men var så uheldig at tabe det. Der gik hurtigt ild i gardinet. Hun forsøgte selv at slukke, men måtte opgive. Hun fik kaldt en portner til hjælp, men det var for sent. Han havde kun tid til at få alle stiftsdamerne ud af slottet.
Damerne var heldige og slap fra branden uden store skader. En enkelt brækkede dog et ben. Man fik også en del sølvlysestager og malerier ud, men 20.000 gamle uvurderlige bøger indebrændte
Sådan så Vallø Slot ud efter branden.
