Der Bau einer Pfalz „... iuxta villam ... Ingilenhaim“ wird von Einhard in die Reihe der wichtigsten Bauleistungen Karls des Großen gestellt. Sein Ausdruck „Inchoavit... palatia operis egregii ...“ deutet auf die Nichtfertigstellung der Bauvorhaben vor 814. Karl der Große wählte Ingelheim 787 als Winterquartier, in dem er vor Weihnachten eintraf und ohne Unterbrechung bis zur Jahresmitte 788 blieb. In diese Zeit fällt eine Reichsversammlung, während der Tassilo III. von Bayern verurteilt und abgesetzt wird. Die Quellen bezeichnen den Ort weiterhin als Villa, während erstmals 807 in der Actum-Zeile einer Bestätigungsurkunde die Bezeichnung „... Inghilinhaim palatio nostro“ auftritt.
Das Itinerar Ludwigs des Frommen weist zwischen 817 und 840 zehn Aufenthalte aus, darunter sind fünf Reichsversammlungen und vier Gesandtschaftsempfänge. Aus Anlaß der Feiern zur Taufe des Dänenkönigs Hariold in St. Alban zu Mainz überliefert Ermoldus Nigellus 826 eine panegyrische Schilderung der Pfalz Ingelheim. Im Zentrum der Beschreibung stehen die Freskenzyklen in der „Regia domus“ und „Aula dei“. 840 verstirbt Ludwig der Fromme auf einer Rheininsel nahe Ingelheim.
Die späten Karolinger sind insgesamt nur siebenmal in Ingelheim nachweisbar. Aus der Regierungszeit Ludwigs I. stammt eine Orginalurkunde, die mit dem „exactor palatii Ingelenheim“ namens Agano eine personelle Institution der Pfalzenverwaltung nennt.