Due nemici assai più potenti di lui gli stavano ai lati, i quali non poteva sperare fossero mai per accordargli pace: il primo era il Duca soccorso dagli Spagnuoli, il secondo i Grigioni confederati con altri Cantoni Svizzeri formanti, come dicemmo, la formidabile Lega Grisa. Ei combatteva arditamente contro entrambi, e il valore suo e de' suoi, gli stratagemmi, l'audacia somma l'avevano fatto sempre trionfare di loro, per cui era pervenuto ad ottenere alla propria dominazione la fama e l'aspetto d'una solida signoria che, ispirando confidenza e tema nelle sue forze, aveva creato uno spirito di vassallanza nei soggetti, come appariva nel gran numero accorso a stanziare a Musso ed in altre sue vicine terre del Lago.
      Ma la guerra si prolungava, le battaglie succedevansi incessantemente, e Gian Giacomo considerava che l'armi non verrebbero deposte da' suoi avversarii, sin che non avessero distrutta dalla radice la sua potenza, la quale usurpatosi un posto in mezzo a loro, doveva riuscire all'uno ed all'altro fatale se l'avessero lasciata più ampiamente distendere o consolidare. Vedeva quindi di non essere in grado di sostenere tal perpetuo combattimento, conoscendo troppo esigui i suoi mezzi a fronte di quelli degl'inimici che erano inesauribili, siccome nazioni già da secoli costituite e popolose: ogni vittoria era per lui una perdita, ed i più piccoli vantaggi della parte contraria gli recavano colpi funesti. Possedeva, è ben vero, oltre la regione del lago da Colico sino a Lecco, da Gera a Brienno, anche molta parte di Brianza con Carate, Incino, Monguzzo, presso che tutta la Valle Assina, la Valle Sasina; ma queste valli in ispecie erano per lui possedimenti di poco profitto, perchè terreni sassosi od incolti con rari e poveri abitatori traenti a gran fatica dal suolo uno scarso alimento.