L'arcivescovo di Milano era uno della casa della Torre, cioè Cassone della Torre; e doveva vivere esule dalla sua patria, seguendo il destino della sua famiglia. Egli dalla Francia, ove stavasene ricoverato presso del papa, si portò a Pavia, città che allora non era dominata dai Visconti, e l'anno 1314 da Pavia scrisse a Matteo Visconti una lettera che comincia così: Cassonus etc. Viris utinam providis Mattheo Vicecomiti, vicario et rectori, sive capitaneo, potestati, sapientibus et antianis, consiliariis, consulibus, consilio, Communi civitatis Mediolani, et Galeatio, Luchino, etc467.; indi espone i mali fatti alle possessioni della mensa arcivescovile, e conclude: ut ideo tu Mattheus Vicecomes, et alii ut supra nominati, nisi vos emendaveritis de praedictis, in perpetuum excomunicamus, anathematizamus, omnique commercio humano ac ecclesiastica sepultura atque sacris ordinibus privamus468. Pare che questo sia stato il primo annunzio degli anatemi che vennero scagliati dappoi. Matteo era uomo cauto e pacato. Poco a poco stese la sua dominazione su Piacenza, Bergamo, Novara e qualche altra città. (1315) Pavia era una città forte, nemica di Milano quasi da trecento anni. Matteo Visconti fece comparire le sue armi sotto Pavia, le quali intrapresero dalla parte di Milano un finto attacco, a rispingere il quale incautamente accorsero tutte le forze del presidio. Frattanto un altro corpo di Militi di Matteo, assistito da' corrispondenti ch'erano nella città, entrò dall'opposta parte in Pavia, guidato da Stefano Visconti, uno dei figli di Matteo; e così Pavia diventò dei Visconti l'anno 1315, e si assicurò Matteo che da quella vicina e forte città l'arcivescovo Cassone della Torre non gli avrebbe più scritte di tai lettere.