Le malattie, il tedio della spedizione, l'amore della patria, la mancanza de' viveri facevano che, un dopo l'altro, i principi prendessero congedo dal nuovo augusto, più solleciti degli Stati propri e de' propri sudditi, che d'altro pensiero. E quindi vediamo molti cesari costretti a ricorrere ai maneggi, al partiti, alle brighe per protrarre la loro dominazione e soggiornare più a lungo nell'Italia. Così dovette fare Lodovico, forzato, per non inimicarsi Castruccio, ad accordare la libertà ai Visconti; laonde (1329), per ottenere sessantamila fiorini d'oro, che gli erano necessari per pagare lo stipendio alle truppe tedesche che gli rimanevano, dovette vendere ad Azzone Visconti il vicariato imperiale; il che avvenne il giorno 15 di gennaio dell'anno 1329. Indi il falso papa Niccolò V creò cardinale della santa romana chiesa Giovanni Visconti, zio di Azzone, e lo costituì legato apostolico nella Lombardia, invece di Bertrando del Poggetto. Quasi tutto il clero e popolo di Milano si gettò dal partito di papa Niccolò; e molti frati, francescani singolarmente, declamando nelle prediche, annunziavano al popolo che Giovanni, ossia Giacomo da Euse, non era altrimenti pontefice, ma era anzi un eretico, uno scomunicato, un pessimo omicida; e che il solo vero legittimo papa era il saggio, il pio, il virtuoso Niccolò V. Queste grida potevano sedurre la moltitudine, e piaceva ai Visconti ch'ella così fosse persuasa; ma gli uomini un poco informati non potevano dubitate che il legittimo papa era Giovanni XXII canonicamente eletto e riconosciuto, vivo e sano, focoso e imprudente bensì, ma non mai eretico, né legittimamente deposto.