Filippo successore di Martino non gli sopravvisse che due anni, nel quale breve spazio consolidò l'autorità suprema nella propria casa, estendendola prima sopra Como, poi Vercelli e Bergamo, che del 1264 lo nominarono volontariamente loro signore. In tutte queste città, siccome nelle altre che suo fratello si era prima rese soggette, il popolo non credeva di rinunciare alla sua libertà: egli non voleva darsi un padrone, ma bensì un protettore contro i nobili, un capitano delle milizie, un capo della giustizia. L'esperienza mostrò troppo tardi che queste prerogative riunite costituivano un sovrano.
      Filippo della Torre approfittò di questo accrescimento di potere per isvincolarsi dall'onerosa alleanza del marchese Pelavicino. Erano passati i cinque anni convenuti con Milano, ed il suo ajuto più non era necessario, perchè della Torre aveva finalmente in tante città a lui subordinate adunati abbastanza gentiluomini per formarne un rispettabile corpo di cavalleria. Il marchese fu licenziato, ma sebbene gli fossero strettamente mantenute le condizioni del trattato, concepì un profondo sdegno a cagione di questo congedo, e cercò di vendicarsi sui mercanti milanesi della condotta del loro principe210.
      Era effettivamente principe perchè aveva a sè soggetta la Lombardia, la quale comechè non s'avesse a rimanere lungo tempo sotto il dominio dei signori della Torre, il carattere repubblicano andava avvezzandosi all'ubbidienza, ed i Visconti rivali dei Torriani più omai non avevano a combattere che contro un principe nemico, non contro i cittadini.