Lucullo vi pose i suoi vivai e v'edificò una villa e Lepido, quando dovè ritrarsi dal consolato, venne qui a dimorare.
      L'antica città scomparve in un'epoca incerta; forse fu distrutta dai Goti. Sulle sue rovine sorge l'attuale San Felice, costruita probabilmente intorno all'antica fortezza dalle mura ciclopiche. Questa Arx Circaea o Rocca Circeji, si trova spesso menzionata nei documenti e nelle storie medioevali; solo molto più tardi compare il nome di San Felice. In questo luogo nel secolo VIII era anche un vescovato. La fortezza di[253] Circeo era considerata come la più importante fra quelle della spiaggia pontina. Si sforzarono di acquistarne il possesso la città di Terracina, i conti di Gaeta e quelli di Fondi; ma essa riconobbe la sovranità del Pontefice.
      Al principio del secolo XII, quando i duchi normanni avevano in loro potere l'Italia meridionale, essi s'impadronirono anche di questa fortezza, ma solo per poco, perchè i papi salvaguardarono bene i loro diritti sulla terra di confine, su Terracina e sul promontorio che ne dipendeva. Sul finire del secolo, divennero padroni della rocca di Circeo i Frangipani di Roma che possedevano Astura e molti altri territorii sul Tirreno ed essi seppero sottrarla alla giurisdizione di Terracina, dopo un lungo assedio. Essi possedettero la Rocca Circeji per lungo tempo; Ottone e Roberto Frangipani la diedero poi a Rolando Guidonis de Leculo, ma a questi Innocenzo III la ritolse per restituirla alla Chiesa.
      Alla metà del secolo XIII i Templari divennero proprietari del promontorio, dove ancora durava la leggenda di Circe, figlia del Sole e dove si era mostrata la coppa di Ulisse, il Graal di questo antico monte incantato.