Das Kornhaus geht auf Fürstabt Rupert von Bodman, den eigentlichen Begründer der Kemptener Stiftsstadt, zurück. Erbaut wurde es 1698-1700 nach Plänen von Johann Jakob Herkomer. Das Gebäude gilt als bedeutendes barockes Bauwerk der Stiftsstadt und wurde im Lauf seiner Geschichte unterschiedlich genutzt.

Ab 1700 für ein volles Jahrhundert Nutzung als Kornspeicher und Schranne
1857 wurde erstmals ein „Studiengenossentreffen“ abgehalten - der Auftakt zur multifunktionalen Nutzung
1872 Erwerb des Kornhauses durch die Stadt vom Bayer. Staat, die Keller gehörten weiterhin zur Stiftsbrauerei
1874/76 Einbau des großen Kornhaussaales als „Kemptens gute Stube“ für Festlichkeiten
1893 Aufgabe der Nutzung als Schranne
1906 Erweiterung des Kornhauses nach Westen
Ab 1907 Wochenmärkte im Winter im Erdgeschoss in der Halle
1914-1918 Nutzung als Rekrutendepot
1921 Zukauf der Keller und Umbau zur Markthalle für den Wochenmarkt in den Wintermonaten
1921 Gründung der Allgäuer Butter- und Käse-Börse zur Berechnung eines "Allgäuer Werkmilchpreises" (später Erzeugerorientierungspreis)
1925 Feierliche Eröffnung des „Allgäuer Heimatmuseums“
1925/26 Umbau des Kleinen Saales, nun mit geschnitzten Säulen
1930 Anbau an der Westfront mit Ehrenbürgersaal im 1. Stockwerk und einer behaglichen "Trinkstube" auf der zweiten Etage
1935 Einbau einer Folterkammer in der Museum
1942 Evakuierung der Sammlung des Heimatmuseums in geheime Depots und bis 1946 Suppen- und Kartoffelküche im Kornhaus
1998/99 Wiedereröffnung nach Umbau und Eröffnung als „Allgäu-Museum“
2003 Umgestaltung des neuen Kornhausplatzes mit Brunnen
2017 Beschluss über den Auszug des „Allgäu-Museums“ sowie über die Fortführung des Raumnutzungskonzeptes als Veranstaltungshaus mit Ausstellungs-und Büroräumen
2019 Schließung des Kornhauses aus Brandschutzgründen für die anstehenden Umbau- und Sanierungsmaßnahmen
2025 im Mai feierliche Wiedereröffnung nach 6 Jahren Umbauzeit mit einem Bürgerfest

1699 wurde die fürstäbtliche „Markt- und Kornhaus-Ordnung“

für das noch nicht bezugsfertige Gebäude aufgestellt:

„Nur an Markttagen dürfen Käufe abgeschlossen werden, und nur im Kornhaus. In Wirtschaften, Privathäusern oder im Freien zu handeln ist verboten. Keiner soll sich anmaßen, im Kornhaus Tabak zu trinken. Es soll keiner im Kornhaus Waffen tragen. Lose und ungezogene Buben und Mädlin sollen beim Kornhaus nit gelitten werden“.