Molti teneano la stessa opinione: il celebre vescovo Vida già avea preparato una lettera al papa per ottenergli il salvocondotto: ma altri l'oppugnarono violentemente, massime il cardinale legato Cervino, apponendogli d'aver diffuse calunnie contro Pier Luigi Farnese, dichiarate false le leggende di san Giorgio e san Cristoforo126; vôlti in celia i Fioretti di san Francesco e i miracoli della Vergine del Liber rosarum. Il Casa seguitava a tenerlo d'occhio, e al 12 gennajo 1549 scriveva al cardinale Farnese:
      «Il vescovo di Capodistria si è dichiarato per latitante, dicendo che gli offizj fatti dal Grisonio ed alcune scritture sue che sono state trovate tra le spoglie del vescovo di Pola, e le relazioni fatte di lui dal suffraganeo di Padova, lo hanno posto in tanta diffidenza, che non si vuole arrisicare».
      Nel giorno stesso, Giampietro Celso, giustinopolitano, minor conventuale, scrivendo da Bologna al cardinale Farnese, tra altro diceva: «Monsignor Vergerio va per Venezia incognito, subvertendo ora questo ora quel gentiluomo acciò sforzino monsignor Legato e i nostri illustri signori a sepellire un nuovo processo formato contro di lui e contro di quegli altri Luterani che sono nell'Istria dal reverendissimo commissario apostolico monsignor padre Annibale Giasoni di Justinopoli, e cerca per via de' nostri illustri signori far levare tal commissione dalle mani del sopraddetto commissario». Il Vergerio stette alcun tempo a Padova, dove frequentava assai Francesco Spiera, famosissimo nelle cronache d'allora.