Lasciò due figliuoli maschi, e tre femmine: il primo de' maschi si chiamò Giovan Francesco, che vestì l'abito della Religione Vallombrosana, e Antonio, che vive al presente in giovanile età. Delle femmine, la prima ha professato nel convento di San Clemente di Firenze: la seconda vestì l'abito religioso nel Monte a San Savino: e l'altra fu maritata a Gio. Giacinto Paoli, cittadino Fiorentino, che premorì al marito senza figliuoli.
      Fu il Lippi persona di ottimi costumi. amorevole e caritativo; perlochè meritò di essere descritto nella venerabile Compagnia della Misericordia, detta volgarmente de' Neri, che ha per istituto il consolare e aiutare i condannati alla morte: ed in essa fu molto fervoroso. Non fu avido di roba, o interessato: ma se ne visse alla giornata col frutto delle sue fatiche, e di quel poco che gli era restato di patrimonio. Ma perchè tale è l'umana miseria, che a gran pena si trova alcuno, per altro virtuoso, che alla propria virtù non congiunga qualche difetto, possiamo dire che il Lippi, più per una certa sua natural veemenza d'inclinazione che per altro, in questo solo mancasse, e facesse anche danno a sè stesso, in essere troppo tenace del proprio parere in ciò che spetta all'arte, cioè d'averne collocata la perfezione nella pura e semplice imitazione del vero, senza punto cercar quelle cose, che senza togliere alle pitture il buono e 'l vero, accrescono loro vaghezza e nobiltà: la qual cosa molto gli tolse di quel gran nome, e delle ricchezze, che egli avrebbe potuto acquistare, se egli si fosse renduto in questa parte alquanto più pieghevole all'altrui opinioni.