Selsø blev bygget i 1570’erme af adelsmanden Jakob Ulfeldt d.æ., som var en af rigets mægtigste mænd og medlem af Rigsrådet. Ulfeldt byggede tillige herregårdene Bavelse og Ulfeldtsholm (i dag Holckenhavn).