Ritornò Giuliano a Fiorenza e fu gratissimamente raccolto dal Magnifico Lorenzo, al quale venne capriccio per sodisfare a frate Mariano da Ghinazzano, literatissimo de l'ordine de' frati Eremitani di Santo Agostino, di edificargli fuor de la porta S. Gallo un convento, capace per cento frati, del quale ne fu da molti architetti fatto modelli, et in ultimo si mise in opera quello di Giuliano. Il che fu cagione che Lorenzo lo nominò da questa opera Giuliano da S. Gallo. Onde Giuliano, che da ognuno si sentiva chiamare da San Gallo, disse un giorno burlando al Magnifico Lorenzo: "Colpa del vostro chiamarmi da San Gallo, mi fate perdere il nome del casato antico, e credendo avere andare inanzi per antichità, ritorno a dietro". Per che Lorenzo gli rispose che piú tosto voleva che per la sua virtú egli fosse principio d'un casato nuovo, che dependessi da altri. Onde Giuliano di tal cosa fu contento. Venne che seguitando l'opera di San Gallo insieme con le altre fabbriche di Lorenzo, non fu finita né quella né l'altre, intervenendo la morte di esso Lorenzo. E poi ancora poco viva in piede rimase tal fabrica, che nel MDXXX per lo assedio di Fiorenza fu rovinata e buttata in terra insieme col borgo, che di fabbriche molto belle aveva pie,na tutta la piazza; et al presente alcun vestigio non vi si vede né di casa né di chiesa né di convento. Successe in quel tempo la morte del Re di Napoli, e Giuliano Gondi ricchissimo mercante fiorentino se ne tornò a Fiorenza, e dirimpetto a S. Firenze, di sopra dove stanno i lioni di componimento rustico fece fabricare un palazzo da Giuliano, col quale per la gita di Napoli aveva stretta dimestichezza.