Fece similmente il modello della fortezza del porto di Pesero. Ritornato a Milano, disegnò molte cose per il duca, et ingegni per il Duomo di detta città a' maestri di quella.
      Era in questo tempo principiata la chiesa di Santo Lorenzo di Fiorenza per ordine de' popolani, i quali avevano il priore fatto capo maestro di quella fabbrica, che era tenuto intendente e persona che faceva professione di intendersi e si andava dilettando della architettura per passatempo. E già avevano cominciata la fabbrica di pilastri di mattoni e non gran cosa. Era allora tenuto in riputazione Giovanni di Bicci de' Medici, et aveva promesso a i popolani et al priore di far fare a sue spese la sagrestia et una cappella; e come persona di ingegno, avendo visto tante belle imprese di Filippo, li diede desinare una mattina, e doppo molti ragionamenti, li dimandò del principio di Santo Lorenzo e quel che gli pareva. Fu costretto Filippo da i preghi di Giovanni a dire il parere suo; e per dirli il vero lo biasimò in molte cose, come ordinato da persona che aveva forse piú lettere che esperienza di fabbriche, e di quella sorte. Laonde Giovanni dimandò Filippo s'e' si poteva far cosa migliore, e di piú bellezza; a cui Filippo disse: "Senza dubbio, e mi maraviglio di voi, che sendo capo non diate bando a parecchi migliara di scudi, e facciate un corpo di chiesa con le parti convenienti et al luogo et a tanti nobili sepoltuarii di tal luogo, che vedendovi cominciare, seguiteranno le lor cappelle, con tutto , quel che potranno; e massime che altro ricordo di noi non resta, salvo le muraglie che rendono testimonio di chi è stato autore, centinaia e migliaia d'anni". Inanimito Giovanni dalle parole di Filippo, deliberò fare la sagrestia e la cappella maggiore, insieme con tutto il corpo della chiesa, né volsono concorrere altro che sette casati, appunto perché gli altri non avevano il modo.