Per queste cose sempre il commendatore maggiore sospettò che il secretario Conciglio non li dovesse esser buon amico, e credette poi che per opera di costui e del vescovo e delli duo fratelli Tapii fusse dal governo di questa isola mosso; perché fu dal re chiamato in Spagna e fu il governo di questa isola dato a don Diego Colombo, secondo admirante e primo genito di don Cristoforo Colombo, perché questo giovane era andato molto importunando il re che avesse dovuto darli carico conforme ai privilegii concessi a suo padre. Onde il re nel provedette, sí per questo sí per amor del duca d'Alva, don Federigo di Toledo, suo cugino, che era la piú accetta persona che avesse ne' regni suoi, e favoriva don Diego perché aveva per moglie una sua nepote, donna Maria di Toledo, figliuola del commendatore maggior di Leone, don Fernando di Toledo.
      Queste furono potenti cagioni a fare torre dal governo di questa isola il commendatore maggiore d'Alcantara, perché in effetto non era cosa che il duca d'Alva avesse in quel tempo chieduta al re sotto color di giustizia che non l'avesse ottenuta; percioché, oltra che il re l'amava per lo vincolo del sangue che era fra loro, per essere nati di due sorelle, figliuole dell'admirante di Castiglia don Federico, vi era anco questo, che nel 1506, quando il re don Filippo e la reina donna Giovanna nostra signora vennero ad ereditare Castiglia per la morte della reina catolica donna Isabella, non ebbe il re catolico in quelli travagli niun parente né amico né vassallo cosí sempre seco e ne' suoi servigii come fu il duca d'Alva; onde per cosí segnalato servigio ne l'amò poi sempre e lo tenne appresso di sé, e fece a lui e ai figli e parenti suoi molte grazie.