I signori di Milano attaccarono da principio gli ufficiali subalterni che Oleggio aveva promossi; richiamarono da Bologna varj corpi di truppe, e citarono molti capitani innanzi ad un tribunale straordinario per rendere conto dei ladronecci ond'erano accusati. Pareva di già pendere sul capo loro una sentenza infamante382, quando in aprile del 1355 un luogotenente di Matteo Visconti venne a chiedere a Giovanni d'Oleggio, in nome del signore di Milano, la consegna di Bologna con tutte le sue fortezze, ordinandogli in pari tempo di allontanarsene all'istante.
      Oleggio si mostrò disposto ad ubbidire, e consegnò al suo successore le chiavi de' principali castelli, consigliandolo ad assicurarsene avanti che i Bolognesi avessero sentore dell'ordine ond'era incaricato. Quando il nuovo governatore fu appena uscito di città per eseguire questo consiglio, Oleggio ritenne in palazzo il 17 aprile i rettori e gli ufficiali di giustizia; vi fece pure chiamare tutti i cittadini, e loro annunziò, che i Visconti avevano determinato di togliergli il governo, dopo averlo forzato, diceva egli, a trattare i Bolognesi con una durezza tutt'affatto contraria al suo cuore. Essi soli, soggiugneva, erano colpevoli della sua precedente tirannica condotta; essi gli avevano chiesto altro sangue, ed oggi lo privavano della sua carica per punirlo della soverchia sua dolcezza. «Ho risoluto, disse finalmente, di sottrarvi al capriccio di questi tiranni; io abjuro i crudeli loro ordini, rinuncio alla loro ubbidenza.