Vallø Slot blev oprindelig bygget i begyndelsen af 1200-tallet. Man har ved udgravninger fundet rester af dette. Det nuværende slot er bygget i nyrenæssancestil. Det er bygget i 1500-tallet
Den 1. kendte ejer af slottet var Eskild Krage Falk. Hans familie – eller slægt – ejede Vallø indtil 1407. Her blev det købt af Axel Petersen Thott til Gavnø.
I 1708 køber Frederik IV Vallø. I 1713 blev Vallø gjort til grevskab for Anna Sophie (viet til Frederik IV til venstre hånd). Christian den VI tog, efter Frederik IV’s død, Vallø fra Dronning Anna Sophie og gav det i 1731 til Dronning Sophie Magdalene.
I 1738 blev Vallø omdannet til et adeligt stift, hvad det også er i dag. Den daglige leder af slottet er en dekanesse, der skal være af adelig familie. Dronning Margrethe er protektor og altså stiftets øverste repræsentative myndighed.
