Zu einem Italienfeldzug Kaiser Heinrichs VII. (1308 - 1313) stellte Bischof Heinrich von Augsburg "400 Mark Silbers Augsburger Gewichts" im Gegenwert von "zehn Streitrossen und zehn Geharnischten" zur Verfügung. Als Pfand erhielt er dafür die Vogtei über Füssen. Da dieses nie ausgelöst wurde, blieb der Augsburger Bischof Stadtherr über Füssen von 1313 bis 1803.

Amtssitz der bischöflichen Verwaltung wurde das zwischen 1293 und 1323 errichtete Schloss, das der Bischof auch zu seiner Sommerresidenz wählte.

Bischof Friedrich II. von Zollern ließ um 1500 das Hohe Schloss zu seiner heutigen Gestalt erweitern und mit bemerkenswerter Illusionsmalerei versehen. Damit gehörte das Hohe Schloss zu den größten und bedeutendsten mittelalterlichen Burganlagen Schwabens. Der "Rittersaal" mit seiner prunkvoll geschnitzten Kassettendecke diente als repräsentativer Festsaal, in dem häufig Kaiser Maximilian I. mit seinem Hofstaat als Gast des Bischofs empfangen wurde.

Im Nordtrakt befinden sich heute die Filialgalerie der Bayerischen Staatsgemäldesammlungen mit Kunstwerken der Spätgotik und Renaissance von Künstlern des Allgäus und Oberschwabens und die Städtische Gemäldegalerie.