Il De - Leyva chiamato dal Duca a consiglio sostenne con tutto il suo potere l'avviso del Governatore, e il Duca, o fosse che rimanesse convinto delle ragioni addotte nella proposta, o più probabilmente stimasse inutile l'opporvisi, sperando ben anche coll'acconsentire d'ottenere in quella guerra maggiori e più costanti rinforzi di truppe Imperiali, rescrisse a Dom Lorenzo Mugnez operasse quanto meglio stimava opportuno alla difesa della città a lui affidata. Appena lo Spagnuolo s'ebbe nelle mani tale consenso, impiegò quanti potè soldati e popolo a smantellare pel primo il Castello Baradello, antico e famoso Forte che sorgeva a ponente della città sovra una altura, e di cui si vede tutto giorno unico avanzo una quadrata torre, ch'è quella stessa in cui morì rinchiuso entro una gabbia di ferro il Milanese guerriero Nappo Torriano che, vincitore de' Comaschi in tante guerre, cadde alla fine lor prigioniero nella battaglia di Desio, e fu da essi per vendetta fatto in sì barbaro modo miseramente perire. Come il Baradello vennero distrutte le rocche, i ridotti e i baluardi che munivano a qualche distanza quella città, e colle ruine e le macerie ne furono colmi i fossati. D'uopo è però dire che per rendere più verisimile agli occhi del Duca la cagione di quel disfacimento, ed eziandio per non rimanersi affatto scoperto ed indifeso, stante la minacciosa vicinanza del Castellano di Musso, furono dal Governatore fatte restaurare ed afforzare le mura e le torri che cingevano immediatamente la città dal lato del lago, dove il bastione era guasto e cadente per gli infiniti colpi a cui era stato meta nei tanti quivi tentati assalti.