Nordöstlich des Dorfes Ittelsburg erhebt sich der lang gezogene Höhenrücken des Falken. Dieser Bereich ist nicht nur seit Jahrtausenden besiedelt, sondern beherbergte auch mehrere Burgen und Schlösser, von denen außer Wällen und Hügeln im Gelände leider nichts mehr vorhanden ist.

Auf der großen Fläche des rund 90 Meter über Ittelsburg gelegenen Falken findet sich eine der größeren Wallanlagen unserer Gegend. Das Bayerische Landesamt für Denkmalpflege ordnet die Anfänge bereits der Jungsteinzeit zu. Aus der nachfolgenden Bronzezeit stammt der Hortfund von Ittelsburg aus der Zeit von ca. 1800–1200 v. Chr., bestehend aus Dolchen und Lappenbeilen, welcher im Stadtmuseum Memmingen ausgestellt wird.

Die erste Burg Ittelsburg befand sich ca. 500 Meter östlich der Kirche St. Leonhard. Diese Burg bestand bis ca. 1152. Nach dem Verfall dieser Burg wurde auf dem Reichenfels, ca. 200 Meter südlich von Niedergsäng, die Burg Neuittelsburg von den Edlen von Ittelsburg errichtet. Nach dem Erlöschen dieses Geschlechts im späten 14. Jahrhundert erwarben die Rothensteiner 1410 diese Burg und nannten sie fortan „der Falk“. Gegen Ende des 15. Jahrhunderts war das Gebäude jedoch baufällig geworden, worauf ab 1484 Verhandlungen über einen Neubau auf der Nordspitze des Falken begonnen wurden. Der erste Neubau an der Nordspitze erfolgte 1496 durch Heinrich von Rothenstein und musste 1505 bereits durch Achar und Gangolf von Rothenstein ersetzt werden. Der Name „Falk“ wurde dabei von der vorherigen Burg auf dem Reichenfels übernommen. In der Folge ging der Name dann auch auf den Berg selbst über.

Während des Bauernkrieges 1525 wurde das Schloss Falken von den Bauern belagert und geplündert. Nach Instandsetzung der Beschädigungen bot es den Grauen Schwestern des Franziskanerinnenklosters von Memmingen von 1533 bis 1537 Zuflucht, als diese im Zuge der Reformation aus Memmingen geflohen sind. Im Jahre 1562 kam es um das Schloss Falken zu kriegerischen Konflikten mit dem Fürststift Kempten. Was war geschehen? Hans Heinrich von Rothenstein verstarb (mit ihm erlosch die männliche Linie der Rothensteiner) und vermachte das Schloss mit allen Gütern seinem Schwager Christoph von Bollstädt. Das Fürststift Kempten sah das Lehen jedoch als heimgefallen an und zog mit 600 Mann Bogenschützen, Reitern und schwerem Geschütz zum Schloss und eroberte es zurück. Fürstabt Eberhard von Stein vergab es 1571 als Lehen an seinen Bruder Ritter Heinrich von Stein und Stotzingen. Sein Nachfolger Fürstabt Albrecht von Hoheneck bestätigte dieses Lehen allerdings nicht und zog es 1587 gegen eine Zahlung von 15.400 Gulden wieder ein. Bei der Besichtigung seines Schlosses verletzte er sich jedoch am Bein. Die Schwellung wurde vom Memminger Barbier geöffnet, woraufhin sich Wundbrand einstellte und der Fürstabt im November 1587 verstarb. In den Jahren 1642 bis 1692 richtete das Fürststift Kempten ein Pflegamt im Schloss ein, welches für die Gemeinden Ittelsburg, Dietmannsried, Reicholzried und Probstried zuständig war. Im Zuge der Säkularisation kam es 1802 zuerst an die Krone Bayern und wurde dann in Privatbesitz ausgelöst. Für 34 Gulden wurde das Schloss schließlich auf Abbruch verkauft und im Jahr 1821 abgebrochen.

Südlich des Bauernhofes auf dem Falken erinnert noch ein Gedenkstein auf einem Erdhügel an die Geschichte des Schlosses. Im Fürstensaal der Residenz in Kempten befindet sich eine Darstellung des Schlosses auf dem Porträt des Fürstabts Albrecht von Hoheneck, der sich so unglücklich auf seinem Schloss verletzte und daran verstarb.