Ma appena era il cappellano disceso nell'albergo, si vide attorniato da un grosso numero di sgherri, i quali l'obbligarono a rimontare tosto a cavallo, e partirsene: di che se ne lagnò il cardinal legato in una sua enciclica: individuando che nemmeno si era voluto permettere che facesse abbeverare i cavalli, e il cappellano e i suoi seguaci dovettero lasciare a mezzo il loro pranzo, facendogli persino difficoltà dalla gran fretta di ripigliare il cappello, che aveva deposto, e scortandoli direttamente fuori dello Stato senza permetter loro di parlare con alcuno476. Se il cardinal legato trovava biasimevole Matteo, perché si riparava da un colpo mortale da esso slanciatogli, doveva almeno non lagnarsi della moderazione istessa con cui se n'era riparato. (1320) Il cardinale Bertrando del Poggetto, il giorno 3 settembre 1320, nella chiesa de' Francescani in Asti, nuovamente scomunicò Matteo, e nuovamente lo citò a comparire in Avignone. Matteo cercava pure le vie d'un accomodamento; ma le condizioni che si proponevano, erano inammissibili da un uomo che era sovrano, e talmente sovrano, che veniva considerato come un re della Lombardia, siccome dice il Villani477. Si voleva che rinunciasse al governo di Milano; che riconoscesse per suo signore Roberto re di Napoli; e che i signori della Torre ritornassero alla loro patria478. Queste proposizioni non piacquero a Matteo né alla città di Milano. Il papa continuava a citare Matteo Visconti; pubblicava incessantemente i monitorii, e in essi gli rinfacciava i delitti: i quali consistevano in esazioni fatte sul clero, giurisdizione esercitata sopra persone ecclesiastiche, autorità adoperata nelle elezioni de' superiori de' conventi.