Sono entrato per la Porta Maggiore, per cercare una locanda, e mi sono subito accorto con stupore che questa porta, addossata alle mura ciclopiche, è l'unico ingresso della città che, costruita su una ripida collina, rimane da tre lati inaccessibile. Presso questa porta sorge il castello o palazzo dei Conti, altra volta signori di Segni, grande edificio, "signino opere", che in complesso ha piuttosto l'aspetto di un convento che di un'abitazione signorile. Niente gli dà l'idea di un castello, mancando perfino una torre. Senza dubbio la rocca dei signori di Segni aveva un altro aspetto prima della distruzione della città, compiuta dalle soldatesche di Marcantonio Colonna.
      Parlando di Valmontone ho già osservato che Segni fu posseduta dalla famiglia d'Innocenzo III, che fu anche quella di Gregorio IX e di Alessandro IV. Dopo il ristabilimento del libero governo municipale, ossia del Senato, in Roma, nel 1143, i papi si sono spesso trovati costretti a rifugiarsi nei luoghi fortificati della campagna, per sottrarsi al furore dei romani, e i luoghi prescelti furono Palestrina, Tuscolo, Anagni o Segni. Eugenio III, cacciato[156] dalla città dal Senato romano, da principio si rifugiò a Segni, e vi edificò, nel 1145, una residenza papale, il famoso Alessandro III, Lucio III e Innocenzo III vissero pure qualche tempo a Segni. Quest'ultimo deve anzi esservi nato, nel palazzo della sua famiglia.[6]Anche in seguito la casa Conti rimase per lungo tempo signora di Segni, dove anzi, dopo il 1353, i suoi membri occuparono la carica di podestà da prima e poi di vicario, a nome del papa.