I Colonna, sebbene ancora proscritti, erano tornati in città con un corpo di gente armata; altri non meno delinquenti signori non avevano paura del pontefice; il quale isolato in mezzo ad una procellosa corte, non aveva, per essere poveramente nato, nè parenti, nè naturali alleati che lo circondassero e fossero depositari del suo segreto. Vedevasi perciò sferzato a tollerare o dissimulare uno scandalo e dei delitti che il suo cuore detestava195.
      Benedetto dovette soggiacere a tale tirannide fino al cessare dell'inverno; ma avvicinandosi il caldo della state, del 1304, fece conoscere la sua intenzione di soggiornare in Assisi finchè durasse il cattivo aere di Roma. I cardinali si opposero risolutamente a tale viaggio, ed il papa avrebbe dovuto dimetterne il pensiero, se per qualche segreto motivo non prendeva a favorirlo Matteo Rosso degli Orsini. Col di lui favore uscì ben tosto di Roma, e passando per Viterbo e per Orvieto giunse a Perugia, ove fu ricevuto quale padre de' fedeli, e non più come il servitore de' cardinali. Colà prese con mano più sicura le redini della chiesa; e cercò di riconciliare i Bianchi ed i Neri di Firenze, ordinando al governo di quella repubblica di chiamare dall'esilio Vieri de' Cerchi: ma vedendo tornar vane le sue inchieste, fulminò la scomunica contro Firenze.
      Si diceva che Benedetto per liberarsi dalla tirannia de' cardinali e de' grandi signori di Roma avesse risolto di portare la sede pontificia in Lombardia. Mentre doveva incessantemente occuparsi della propria sicurezza, mentre doveva far uso di tutta la sua autorità per ristabilire la pace ne' paesi in cui pensava di soggiornare stabilmente, non osava il papa di provocare l'inimicizia del più potente sovrano d'Europa, di un uomo che aveva di già mostrato di tenere per legittimi tutti i mezzi che potevano nuocere ai suoi nemici.