La sua autorità che, ne' primi dieci anni fu sufficientemente estesa in molti oggetti di minuto dettaglio, si attenuò dopo la venuta del reale arciduca. La di lui bontà permise che alcuni suoi scrivani favoriti abusassero della sua confidenza. Coloro che confondono la bibliomanìa coll'amore delle lettere il tennero e il dissero un mecenate. I Milanesi lo compiansero. Fu sostituito al conte di Firmian il conte di Vilzek, personaggio mediocre al pari di quello, e che lasciò fama di non aver fatto né bene né male. (1783) Nel seguente anno morì pure il cardinale arcivescovo Giuseppe Pozzobonelli, dopo di avere presieduto alla chiesa Milanese per il lungo corso di anni quaranta: prelato saggio, attento e unicamente occupato del sacro suo ministero. Il 1° settembre dell'anno medesimo gli fu dato in successore monsignore Filippo Visconti, in di cui lode basterà il dire che ne' tempi burrascosi successivi al 1796 egli si meritò di essere pubblicamente difeso da un vecchio filosofo, il conte Pietro Verri, contro le forsennate invettive de' demagoghi rivoluzionarii. (1784) Non molto dopo morì l'insigne letterato e matematico Paolo Frisi, che, non potendo soffrire gl'incomodi di una fistola dolorosa, si sottopose ad un'operazione che in brevissimi giorni, in ancor fresca età, il trasse al sepolcro. Il poc'anzi citato conte Verri, di lui amico, supplì alla solita noncuranza della città, onorata dalla nascita e dagli studii di quell'uomo illustre, tessendo di lui un nobile elogio, ed ergendogli un modesto monumento in Sant'Alessandro, chiesa de' Barnabiti, alla di cui congregazione aveva il defunto appartenuto per qualche tempo.