Abbiamo detto che Federico era tornato in Italia del 1163 conducendo seco la sposa, una splendida corte, ma non truppe. I Pavesi, approfittando del terrore del di lui nome, mossi da vecchia gelosia, vollero distruggere Tortona, onde rappresentarono all'imperatore che i Milanesi non l'avevano rifabbricata che per mostrar disprezzo delle sue vendette, e che una città, da lui ruinata e rifatta dai suoi più acerbi nemici, cospirerebbe sempre coi faziosi: a queste ragioni aggiunsero l'offerta di ragguardevole somma, ed ottennero dall'imperatore la facoltà di atterrare fino alle fondamenta le mura della già ruinata città. Nell'eseguire quest'imperiale rescritto non solo distrussero le mura che potevano dare agli abitanti di Tortona un mezzo di difesa, ma ne demolirono163 ancora le case164.
      (1164) Questo fu per altro l'ultimo atto violento che la fazione vittoriosa si permettesse per soddisfare ad un'antica rivalità che omai andava calmandosi. Durante la lontananza dell'imperatore, i podestà da lui posti al governo delle diocesi avevano bruttamente abusato della loro autorità, esigendo contribuzioni sei volte più gravi di quelle che portavano le antiche consuetudini, e non lasciando agli abitanti del Milanese e del Cremasco che il terzo del raccolto. Lo stesso Morena, tanto affezionato storico dell'imperatore, depose che non eravi alcun Lombardo il quale, rammentando l'antica libertà della sua patria, non riguardasse come un obbrobrio le tasse cui vedevasi esposto, e non desiderasse di vendicarsi165. Pure gl'Italiani avevano atteso il ritorno dell'imperatore, lusingandosi che in allora avrebbe posto riparo agli abusi d'ogni maniera sotto cui gemevano.