Direkt angrenzend an das Arboretum liegt das Schloss Sommershausen. Erwähnt wird die Markung Sommershausen zum ersten Mal 1480. Da heißt es Zimershusen. Später Zamershusen (1492), Umershusen (1497, 1520,1542), Umershus (1520), Simmershausen (1526), Sommertzhaußen(1597), Umershaußen (1610). Sumarazhausen (1615). Ältere Leute nennen es heute noch “Zomertshaus”.
Die Markung war früher im Besitz der Freiherren von Freyberg, seit 1843 im Besitz der Freiherrn von Koenig-Warthausen. Das Schloss, wie es sich heute darstellt, ließ in den Jahren 1904 bis 1906 der damalige Eigentümer des 100-ha-Gutes, Freiherr Friedrich Carl Wilhelm Koenig von und zu Warthausen, genannt Baron Fritz, erbauen. Die eingebauten Türen, Fenster, usw. sind 250 Jahre alt. Baron Fritz war ein sehr großer Naturkenner und Pflanzenfreund. Berühmt war das Schloss deshalb auch für seinen wunderbaren Naturpark.
Der Hof wurde 1974 verkauft. Heute gehören die land- und forstwirtschaftlichen Flächen dem Landkreis, der Forstverwaltung sowie Bauern und Waldbesitzern.
