Il figlio Alfonso che stava lontano, accorso e fatta la solenne entrata 19 maggio 1560, andò a prestar l'omaggio al papa, di cui era vassallo. E il papa con lui si dolse della duchessa che ostinavasi nelle sue eresie; onde il figlio le intimò di lasciarle o d'andarsene.
      In fatti con trecento persone ella partì, e pose Corte nel castello di Montargis, facendo solenne professione di calvinismo, ricoverandovi i perseguitati, e mantenendo carteggio con Calvino. Questi la querelò alcuna volta del non vederla ben risoluta ad abbandonare i santi e certe pratiche: ma le scriveva: «Voi foste come una madre nutrice de' poveri fedeli discacciati che non sapeano ove ritirarsi. So bene che una principessa, la quale non guardasse che il mondo, avrebbe onta, e quasi prenderebbe a ingiuria che il suo castello si chiamasse un Ospedal di Dio (Hôtel-Dieu), ma io non saprei farvi onor maggiore che chiamarlo così, per lodare e riconoscere l'umanità che voi avete usata verso i figliuoli di Dio che si rifuggirono a voi»95.
      Questo Alfonso e le sorelle Leonora e Lucrezia rimasero celebri nelle avventure di Torquato Tasso. All'altra figlia Anna, stata educata da Giovanni Sinapio suddetto, la Renata, per eccitarne l'emulazione, avea messo compagna Olimpia Morata. Dai colloquj, poi dalle lettere di questa attinse idee libere, che non abbandonò sebbene sposata al duca di Guisa, caporione del partito cattolico in Francia: e lo storico De Thou assicura ch'essa non cessava d'esortar la regina Caterina a risparmiare i rigori contro gli Ugonotti.