Se altri pensieri calmarono col seguito l'Infante D. Carlo, gl'Inquisitori non si riconciliarono giammai con lui, e fino d'allora giurarono la perdita di un Principe, che minacciava di porre un termine all'immensa loro autorità. Siccome allora una delle massime degli Spagnuoli, ed in specie degli Ecclesiastici, ad onta de' precetti dell'Evangelo, era quella di non perdonar giammai, eccitarono per mezzo de' loro segreti emissari mormorazioni sì grandi nel popolo, che Filippo si trovò quasi astretto ad allontanare D. Carlo dalla sua Corte, unitamente a D. Giovanni d'Austria figlio naturale di Carlo V., e il Principe di Parma Alessandro Farnese, che aveano dimostrato di entrar con trasporto nel giusto risentimento di suo figlio contro l'Inquisizione.
      Qui però non si fermò la vendetta dell'Inquisitore D. Ferdinando di Baldez. In occasione delle turbolenze che si suscitarono intorno al 1568. ne' Paesi Bassi, di cui parleremo in appresso, accordatosi co' Duchi di Alba e di Feria, che preso aveano grande ascendente sullo spirito di Filippo, fecero un delitto al giovane Principe della compassione che dimostrava per que' popoli infelici. Supponendo essi, che i Fiamminghi fossero tutti eretici, sostenevano, che D. Carlo non potea proteggerli senza rendersi reo degli stessi misfatti. Vi fu chi riportò a Filippo i suoi sentimenti sopra la Religione, e sopra il di lui Governo, porgendo le cose nel peggiore aspetto, e facendovi quelli aumenti che erano necessarj per far odiare a un Re sì sospettoso, e diffidente un figlio che non lo somigliava.