Egli veniva accusato de pessimis criminibus, et de haeresi, licet non foret noxius471. Il cardinale Berengario, vescovo tusculano, fu destinato a formare il processo a Matteo Visconti, ed ivi in Avignone quel cardinale riferì in concistoro, che risultava dall'asserzione di testimonii degni di fede, essere Matteo Visconti gravemente diffamato come reo di sacrilegi, delitti ed eccessi. La fama di tali accuse giunse a Milano; e Matteo, per calmare la procella, cominciò a permettere che frate Aicardo fosse dal clero riconosciuto per arcivescovo; e così rinunziò al dritto acquistato da Giovanni suo figlio, già canonicamente eletto alla medesima sede. (1319) Oltre ciò, volendo dare un pubblico attestato insigne della sua divozione alla Chiesa, ricuperò il rinomatissimo tesoro di Monza, che nei passati guai era stato depositato in pegno al tempo di Napo Torriano; e colle sue mani, la vigilia del Natale dell'anno 1319, lo portò in Monza e lo depositò sull'altare di quella chiesa di San Giovanni. Questo tesoro consisteva in corone e calici d'oro gemmati; e convien dire che fosse veramente un tesoro, poiché veniva stimato allora ventiseimila fiorini d'oro472. Ma questa pieghevolezza di Matteo Visconti non bastò a concigliargli l'aderenza del papa; il quale voleva esclusi i Visconti dalla dominazione, assoggettato l'Impero, e dipendente l'Italia. Giovanni XXII spedì nella Lombardia il cardinale Bertrando del Poggetto in qualità di legato473, il quale dichiarò l'Impero vacante; nulla l'elezione di Lodovico il Bavaro; creò vicario imperiale il re Roberto di Napoli; comandò a tutto il clero di Lombardia di ubbidire al nuovo vicario imperiale; e finalmente intimò a Matteo Visconti di doversi presentare in Avignone al papa per rendergli conto dei delitti che gli erano imputati.