Rimasero così abbandonate sino alla metà del secolo XI: ed Adinolfo secondo duca di Gaeta nel 1063 le donò ai monaci cisterciensi" che erano in Ponza. Di là alcuni di quei frati si recavano in queste isole per menarvi una vita solitaria e tranquilla, e nell'isoletta minore fabbricarono una chiesetta in onore di papa Stefano, che essendo ancora frate si piaceva di questa solitudine. E da lui l'isoletta ebbe il novello nome. Altri pontefici vi fecero costruire un piccol carcere per chiudervi e correggere i preti discoli. Ma la chiesa, il carcere, ed ogni cosa fu distrutto dal tempo, dai pirati, dai venti; e le due isole rimasero un'altra volta deserte ed incolte, come Ponza e gli altri isolotti sparsi intorno. Divennero nidi di corsari, che da essi spiccavansi per devastare le vicine spiagge; e solo pochi arditi pescatori per speranza di guadagno venivano da Ischia e da Gaeta per tagliar legno in queste isola selvagge, e per pescar nel mare che le circonda. Uno di questi pescatori è degnissimo di ricordanza.
      Nella state dell'anno 1768 Pasquale Regine di Forio d'Ischia, padrone di una di quelle barche pescherecce che diconsi paranzelli, con un suo figliuoletto di dodici anni a nome Vincenzo da lui teneramente amato, e con altri sei pescatori suoi paesani e parenti, venne in Ventotene per tagliar legne. Approdò in un piccol seno detto Cala di Battaglia, e lasciati quattro compagni a guardia della barca e del figliuolo, con gli altri due si avviò per una valletta, sparsa di grotte che allora erano vuote, ed ora servono di abitazioni ad uomini, asini e maiali.