Con tutto ciò non aveva potuto fuggire gl'infortunii; perché, essendo incorso quel cardinale nella indignazione di Pio IV per le cose del concilio, i colpi a che la grandezza non lasciò soggetto il padrone, vennero a cader sul servitore e fu per via degl'inquisitori molto travagliato, col tenerlo longamente in carcere dopo la morte del cardinale suo signore. Onde, benché uscisse libero, perché anco il pontefice venne a morte, però non poté mai rientrare in grazia della corte romana, onde viveva privatamente in Mantova. Il gusto principale che riceveva fra Paolo in conversare con lui era perché lo trovava d'una moderazione singolare, erudito, e che, per esser stato col cardinale a Trento, aveva avuto gran maneggio in quelle azzioni e sapeva tutte le particolarità de' negozii piú secreti, et aveva anco molte memorie, nell'intendere le quali fra Paolo riceveva molto piacere. Perché, essendo da fresco terminata l'azzione conciliare ch'aveva per cosí longo corso d'anni tenuto il cristianesimo in somma aspettazione, era negl'uomini di spirito, massime in un intelletto tale, gran curiosità d'intendere come realmente le cose fossero passate; e di tutto aveva fatto note di suo pugno.
      Prese anco stretta famigliarità col padre inquisitore dell'ordine domenicano, fra Girolamo Bernerio da Correggio, che da Sisto V fu poi fatto cardinale d'Ascoli, della congregazione del Santo Offizio e protettore dell'ordine de' servi, con chi continovò la servitú sino che visse. Il quale quanto stimasse fra Paolo si dirà a basso, ove sarà necessario farne menzione.