Il cardinale, recandosi a Pistoja, passò per Prato, che, sebbene fosse la patria de' suoi maggiori, egli non aveva ancora veduta; ed il rispettoso e distinto accoglimento che gli fece quel popolo, accrebbe la gelosia dei Neri. I Guazalotti, capi di questo partito in Prato, ne fecero amara vendetta al suo ritorno da Pistoja, ove nulla aveva potuto ottenere. Gli fecero chiudere in faccia le porte della città e ne proscrissero i parenti ed i loro partigiani, che dovettero salvarsi colla fuga. Il cardinale irritato scomunicò la città di Prato ed accordò le indulgenze della crociata a coloro che prenderebbero le armi contro la sua patria. Rientrato in Firenze, non tardò ad accorgersi che l'accadutogli a Pistoja e Prato aveva distrutta in modo la sua riputazione, che, in occasione di una sommossa, la famiglia de' Quaratesi, vicina al palazzo da lui abitato, fece tirare contro la sua persona. Allora il cardinale volgendosi al popolo che lo circondava, gridò: «poichè voi volete essere in guerra e maledetti, ricusando di ascoltare il messaggiere del vicario di Dio; poichè non volete nè riposo nè pace, rimanetevi adunque colla maledizione di Dio e della santa Chiesa.» Partì il giorno 4 giugno del 1304, lasciando la città scomunicata, e Benedetto XI confermò a Perugia questa scomunica.
      In Firenze tenne dietro alla partenza del cardinale una sedizione: mentre coloro che l'avevano forzato a ritirarsi, battevansi contro quelli che volevano la pace, un prete, chiamato ser Neri Abbati, appiccò il fuoco alle case dei Bianchi in due diversi luoghi della città. Questi, occupati trovandosi nella zuffa, non poterono fermare l'incendio, il quale, stendendosi rapidamente verso il centro della città, distrusse mille settecento case ne' quartieri occupati dai magazzini dei mercanti, cagionando un'immensa perdita a molte delle più ricche famiglie e specialmente ai Cavalcanti ed ai Gherardini, che furono al tutto ruinati225.