Dissero essere questo il caso di abbandonare la moglie; onde esso, a' 10 gennajo 1560, sposò Anna Fremery, da Rouen venuta a Ginevra per religione. Non fu unione d'amore, ma consonanza di sentimenti; vissero semplicemente e placidamente a Ginevra; essa andava a fare le compre, e portava a casa ella medesima le provviste; egli ricusava il titolo di marchese, contento al semplice nome. Eppure in ogni comparsa aveva il posto d'onore, ed era riverito non meno che se godesse i titoli e la fortuna paterna; ogni forestiero lo visitava o invitava, tra' quali Francesco ed Alfonso d'Este, il principe di Salerno, Ottavio Farnese duca di Parma. La conversazione rendeva egli dilettevole col narrare i casi suoi, i viaggi in Germania, e aneddoti sulla Corte di Carlo V. Meglio amava parlare delle cose divine. A Ginevra pensò stabilire una Chiesa pei rifuggiti italiani, e vi pose a capo Celso Martinengo da Brescia, collocandolo sotto la protezione del magistrato. Calvino dedicogli la seconda edizione de' suoi Commenti sulle epistole ai Corintj, dicendogli: «Ancorchè voi non cerchiate, alla maniera del mondo, l'applauso degli uomini, contento d'aver Dio spettatore della vostra probità, non è giusto che io lasci ignorar ai lettori chi voi siate, e li frustri della soddisfazione, che dee recar loro l'intender che un uomo come voi, nato di famiglia chiarissima, abbondantemente provveduta di cariche eminenti e di beni, avendo moglie nobilissima e castissima, e da essa una schiera di bellissimi figliuoli, e col godimento d'una perfetta concordia e pace domestica, in condizione affatto degna d'invidia, volle, per arrolarsi sotto la bandiera di Gesù Cristo, abbandonare un'amabile patria, un paese delizioso, un lauto patrimonio, una casa delle più comode e pompose, spogliarsi direi quasi dello splendore d'un'alta nascita, sceverarsi dalla dolce compagnia di padre, moglie, figliuoli, parenti, amici, e rinunziato a tutti i contenti e gli alettativi che offre il mondo, appagarsi d'arrampicar qui fra noi, e vivervi col comun popolo, come se nulla il distinguesse.