Durch Verpfändung wechselten oftmals die Territorialherren. Walldorf war bald die südlichste Siedlung der Kurpfälzer. Erwähnt ist, dass durch den Kurfürsten Ludwig III. die Herren von Sickingen im Jahr 1420 belehnt wurden. Die wechselvolle Geschichte hinterließ in dem kleinen kurpfälzischen Dorf ihre Spuren. In Bauernkriegen und im Dreißigjährigen Krieg wurde Walldorf Schauplatz für Kämpfe und Plünderungen. Im Pfälzischen Erbfolgekrieg von 1689 wurde es sogar vollständig zerstört. Nach einer schwerfälligen Erholungsphase wurde das Land ab 1716 wieder besiedelt.
Meist kamen Neusiedler aus der Schweiz. Unter ihnen auch die Familie Astor. Einer der Astors, Johann Jakob Astor (1763-1848), zog wie viele andere Bürger aus Not weiter nach Amerika. Er wurde dort durch Pelz- und Immobiliengeschäfte zum damals reichsten Mann des Landes. Er vermachte seiner Heimatstadt einen stattlichen Geldbetrag, dank dessen das Astorhaus erbaut und nach dem Willen des Stifters den Armen zugute kam. heute beherbergt das Astorhaus ein Museum und den städtischen Schülerhort.
Walldorf, das nach den Napoleonischen Kriegen dem Besitz der Badener Landgrafen zugeschlagen wurde, wandelte sich im 19. Jahrhundert vom Bauerndorf zum agrarbestimmten Handelsplatz. Wald, Tabak, Hopfen, einstmals "grünes Gold" genannt, und Spargel bereiteten bescheidenen Wohlstand.
Jakob Astor, nach einem Porträt von Gilbert Stuart
Das inzwischen nicht mehr existente Geburtshaus von Johann Jakob Astor in der Hauptstraße (Foto: Archiv Stadt Walldorf)
1901 verlieh Großherzog Friedrich I. von Baden Walldorf die Stadtrechte und wünschte, dass die Gemeinde blühe und gedeihe.
Spargelfest im Jahr 1953 (Foto: Archiv Stadt Walldorf)
