Pretendeva quel papa che il giuramento che solevano gl'imperatori pronunziare nella incoronazione fatta dal sommo pontefice, fosse un giuramente di fedeltà e di vassallaggio. (1317) Questa opinione la sosteneva anche il suo successore Giovanni XVII; e in conseguenza spedì, l'anno 1317, due frati nella Lombardia, i quali in di lui nome dichiararono invalide le elezioni di Federico e di Lodovico: pubblicarono vacante l'Impero, e comandarono che non ardisse alcuno di arrogarsi il titolo di vicario imperiale. La cosa era chiara che si aveva di mira Matteo Visconti, la cui pieghevole politica non urtava mai, e secondava anzi i tempi. Matteo cessò di chiamarsi vicario imperiale, e assunse il titolo di signor generale di Milano e suo distretto469. Forse il papa e l'arcivescovo Cassone della Torre si aspettavano minore compiacenza; e quindi speravano un pretesto per venire ad un'aperta rottura. Matteo, da saggio, abbandonò una parola, per non compromettere la dominazione. L'arcivescovo era esule; ma non sappiamo che potesse darsene colpa a Matteo; poiché forse non v'era atto di autorità che lo allontanasse dalla diocesi, in cui non si credeva però sicuro l'arcivescovo, sotto la signoria de' rivali della sua famiglia. Non vedendo quindi Cassone della Torre speranza alcuna di ritornare al possesso della sua sede arcivescovile, cercò dal papa il patriarcato di Aquileia, e il papa glielo conferì. Poiché Matteo Visconti seppe essere vacante la sede metropolitana, maneggiò la cosa in modo, che gli ordinari passarono ad eleggere arcivescovo Giovanni Visconti, altro figlio di Matteo.