Im Jahre 1551 erwarb Anton Fugger (1493 - 1560) für 137 000 Gulden alle Besitztümer samt Rechten der Herrschaft Kirchheim. Anton Fugger war der Neffe und Nachfolger von Jakob Fugger dem Reichen in der Regierung der Fugger´schen Handelsgesellschaft. Nach dem Tode von Anton Fugger wurde Kirchheim vorübergehend von dessen drei Söhnen gemeinsam verwaltet. Nach der Teilung des Erbes ging die Herrschaft an Hans Fugger (1531 - 1598) über. In dieser Zeit erlebte Kirchheim eine unvergleichliche Blüte. Sieben Jahre, von 1578 bis 1585, benötigten der Augsburger Stadtbaumeister Jakob Eschay und der Kistler Wendel Dietrich für den Auftrag, das Kirchheimer Schloss als hochherrschaftliche Sommerresidenz der Familie zu erbauen.

Als die vier um einen quadratischen Innenhof gebauten Flügel vollendet waren, glich das Werk verblüffend dem berühmten Escorial bei Madrid.

Schloss Kirchheim gilt heute als eines der bedeutensten Renaissance-Gebäude auf deutschem Boden. Im Ostflügel der Anlage befindet sich der ca. 360 Quadratmeter große Festsaal des Schlosses, der berühmte Zedernsaal.