Questo titolo di vicario imperiale servì poi d'introduzione alla signoria de' Visconti, come vedremo.
      Pareva fondata ben sodamente la fortuna di Napo e de' Torriani. Se Napo avesse conservato, anche in mezzo degli avvenimenti felici, la moderazione, i suoi nemici verisimilmente non avrebbero potuto giammai prevalere. Ma due cose furono cagione del rovescio di sua fortuna: la prima fu il titolo ch'ebbe dall'imperatore, col quale troppo chiaramente dimostrò il suo fine di assoggettare la città; l'altra fu che alla fine commise molte crudeltà, condannando varii nobili al supplicio; ciò che lo appalesò anche alla plebe smascherato, e assai distante da quella dolcezza ch'egli, sino a quel punto, aveva saputo mostrare. Molti nobili milanesi andavano esuli dalla patria, o scacciati da Napo, ovvero spontaneamente sottrattisi ad un governo nemico. (1277) Poiché videro intiepidito il favore del popolo, i nobili fuorusciti si collegarono coll'arcivescovo Ottone Visconti, esule da quindici anni; lo elessero per loro capo; e sotto di lui radunati, con varia fortuna fecero dei tentativi e delle invasioni sul Milanese; sin tanto che, nel giorno memorabile 21 di gennaio 1277, sorpresero i Torriani a Desio, borgo distante dieci miglia dalla città, e fatto un macello de' Torriani, che appena s'erano avveduti d'aver vicino il nemico dalla strage de' loro compagni, rimase Napo istesso prigioniere. Entrò in Milano l'arcivescovo Ottone Visconti, e tutto il popolo lo acclamò signore. Così terminò Napo della Torre; il quale sopravisse ancora un anno e mezzo, miseramente rinchiuso entro di una gabbia, in cui cessò di vivere e di soffrire, il giorno 16 agosto 1278. I Novaresi, i Pavesi, i Comaschi ed altri del contado istesso di Milano avevano resa forte l'armata dell'arcivescovo.