Ihre älteste Tochter Hermine hatte 1815 auf Schloss Schaumburg Erzherzog Joseph, den Palatin von Ungarn, geheiratet und war mit ihm nach Ungarn gezogen. Bei der Geburt eines Zwillingspaares, Hermine und Stephan, starb sie im September 1817. Ihr Sohn, Erzherzog Stephan, wurde schon früh auf die Übernahme wichtiger Regierungs- und Verwaltungsämter vorbereitet. Als Palatin Joseph 1847 starb, wurde Stephan selbst zum Palatin, d. h. zum Stellvertreter des Königs in Ungarn, gewählt. Gerade in dieser Zeit nahmen die schon lange bestehenden Spannungen zwischen ungarischen Nationalisten und wem Wiener Hof zu und steigerten sich bald zu bürgerkriegsartigen Auseinandersetzungen. Erzherzog Stephan konnte als junger, noch unerfahrener Palatin, den Ansprüchen beider Seiten nicht gerecht werden. Er legte im September 1848 sein Amt nieder und wurde von Kaiser Ferdinand nach Schloss Schaumburg verbannt.
Hier nun musste er sein Leben neu ordnen. Auf Schloss Schaumburg widmete er sich nun in großem Umfang seinen naturkundlichen Interessen, sozialen Aufgaben und der Jagd. Der von Erzherzog Stephan sofort nach seiner Ankunft initiierte und von dem Nassauischen Baurat Boos geplante Umbau des Schlosses im Stil der englischen Tudor-Gotik stand ganz im Zeichen dieser Neuorientierung: Er ließ einen neuen Trakt, den „Stephansbau“, errichten, in dem seine sehr bedeutende Mineraliensammlung und ein Stall für ungarische Reitpferde den meisten Raum einnahmen. Den ehemaligen Speisesaal ließ er zur Bibliothek umbauen, und in den Außenanlagen entstanden Tiergehege, Gärten und Gewächshäuser mit einem großen Palmenhaus. Ein weiterer Neubau war der große Hauptturm, der zur Vermessung des Herzogtums Nassau diente. Von seiner Spitze aus bestand Sichtkontakt zu mehreren weiteren Messpunkten des Landes