Egli aveva una malaugurata contesa con la Corte, non per una ragione politica ed onorevole, ma per una rissa privata, nella quale anche i più caldi de' suoi amici non lo reputavano affatto scevro di biasimo. Trovandosi a Whitehall era stato insultato da un uomo che aveva nome Colepepper, ed era uno di que' bravazzoni i quali infestavano le sale di Corte, e studiavano di procacciarsi il favore del Governo affrontando i membri dell'opposizione. Il Re stesso si mostrò grandemente sdegnato pel modo con che uno de' più illustri Pari del Regno era stato trattato dentro la reggia; e a placare Devonshire promise che Colepepper non metterebbe mai più il piede in palazzo. Nulladimeno, poco dopo, lo interdetto fu tolto; e il risentimento del Conte destossi di nuovo. I suoi servi ne abbracciarono la causa; e per le vie di Westminster si videro scene che parevano richiamare la memoria di tempi barbari. Il Consiglio Privato consumava il suo tempo nelle accuse e recriminazioni delle parti avverse. La moglie di Colepepper dichiarò come la vita di lei e quella del marito fossero in continuo pericolo, e le case loro fossero state assalite da facinorosi coperti della livrea di Cavendish. Devonshire disse che dalle finestre di Colepepper gli era stato tirato un colpo di pistola. Colepepper negò il fatto, confessando a un tempo stesso, che una pistola, carica solo a polvere, era stata scaricata in un momento di terrore a fine di chiamare all'armi le guardie. Mentre ferveva il litigio, il Conte incontrò Colepepper nella gran sala di Whitehall, e gli parve di vedere in sulla fronte al bravazzone un'aria di fiducia e di trionfo.