E il Granduca che abboccò all'amo insidioso, finì per dimostrargli in più d'un'occasione di non riporre ora in lui la piena fiducia. Quello era l'effetto dell'opera iniqua del Ciantelli "persecutore politico" del vecchio e venerato ministro; il quale vedendo che non aveva più quel prestigio di una volta, ebbe l'idea di dimettersi; ma lo trattenne il Corsini. Il Fossombroni vi aderì perché per un momento nutrì la speranza che con l'ascensione di Carlo Alberto al trono sabaudo, la Toscana avrebbe potuto battere una nuova via, conservando quella supremazia civile che tutti le riconoscevano in Italia. Ma oramai era destino che la saviezza e la franca onestà non dovessero esser più le consigliere del trono.
      Per conseguenza, dopo l'occupazione austriaca di Modena, Parma e Bologna, i fatti delle Romagne, la minaccia che maggiori turbolenze venissero a funestare la Toscana per la tracotanza del Ciantelli che pareva il vero Granduca, il Fossombroni vedendosi non più ascoltato, ma anzi quasi inviso al Sovrano, cui aveva dato tutto il suo potente ingegno, volle ritirarsi a vita privata. Ed in una lettera da lui scritta da Arezzo al cav. Giuliano Frullani, "sul bisogno di accomodare le forme politiche del Governo" concludeva: "Finiscono tra dodici giorni cinquant'anni, da che un Motuproprio di Leopoldo I mi chiamò agli onori dei pubblici impieghi, senza che io abbia osato giammai di credermi idoneo a disimpegnarne e chiederne veruno. Non sono dunque più per me né i timori né le speranze.