Die Burganlage auf dem Willibaldsberg wurde 1355 gegründet und in der zweiten Hälfte des 16. Jahrhunderts unter Martin von Schaumberg erweitert. Der Umbau zur repräsentativen Residenz durch Elias Holl erfolgte unter Fürstbischof Johann Conrad von Gemmingen (reg. 1595-1612). Die Türme trugen damals Zwiebelhauben.

Gemmingen ließ auch den einst berühmten botanischen Garten "Hortus Eystettensis" anlegen. Das 1613 hierzu erschienene gleichnamige Kupferstichwerk des Basilius Besler stellte die Grundlage für den 1998 eröffneten Bastionsgarten dar, einen Informationsgarten über die Pflanzenwelt des "Hortus Eystettensis".