Пока герцог Йорк болел оспой, Палата общин отрешила канцлера от должности по обвинению в государственной измене и передала этот вердикт на утверждение в Палату лордов. Аристократы, тоже ненавидя Кларендона, еще сильнее, однако же, не доверяли третьему сословию, поэтому отрешение через Палату лордов не прошло. Однако сильное меньшинство, возглавленное Бекингемом и Бристолем и включающее в себя Рочестера, выступило с протестом на вето, наложенное палатой. Меж тем Кларендон поддался на уговоры короля покинуть пределы страны для того, чтобы устранить опасный антагонизм между двумя палатами парламента. И это — последнее — доказательство его верности королю было воспринято как безмолвное признание собственной вины — и вдогонку добровольному изгнаннику полетел указ, навсегда лишающий его права пребывать на территориях, находящихся под властью английской короны.
Его падение вызвало бурю ликования у тех, кого Ивлин назвал «людьми и ледьми любви», тогда как Пепис обозначил их куда конкретнее: «Бэб Мэй, леди Каслмейн и вся эта развратная свора». Изгнание Кларендона вдохновило Рочестера на написание самой неудачной из его сатир:
За короткое время, прошедшее с тех пор, как старый канцлер отечески поцеловал Рочестера в стенах Оксфорда, молодой человек прошел долгий путь.
Но злейшим — и вместе с тем самым «любимым» — врагом Рочестера стал граф Малгрейв, Джон Шеффилд, позднее герцог Бекингемшир (не путать с герцогом Бекингемом — постоянным собутыльником Рочестера). Эта вражда стала частью общей литературной политики той эпохи и в конце концов, по слухам, привела в 1678 году к нападению на Драйдена. Но между вероломной атакой на Кларендона и началом вражды с Малгрейвом Рочестер впал во внезапную ярость; подобные вспышки впоследствии случались все чаще и чаще по мере того, как приходило в упадок его здоровье. 17 февраля 1669 года Пепис написал:
Вчера король ужинал в голландском посольстве; после ужина выпили, и вся компания чрезвычайно развеселилась. Среди прочих там были весьма достойный человек лорд Рочестер и балагур Том Киллигрю, выходки и грубые шутки которого в конце концов настолько разозлили Рочестера, что он на глазах у короля ударил обидчика в ухо. Инцидент, конечно, стал величайшим оскорблением для собравшихся, потому что король не только видел это, но и стерпел; более того, уже простил Рочестеру безобразие, потому что сегодня утром вышел на прогулку в сопровождении нескольких господ, одним из которых был все тот же Рочестер; таким образом, сам король, водясь с этим грубияном, покрыл себя несмываемым позором; а как воспринял происшедшее Том Киллигрю, я не знаю.
О том, что Рочестер в ходе этого инцидента был пьян, нам известно из письма леди Сандерленд:
Драчливая выдалась неделя; дошло до того, что лорд Рочестер, забывшись, ударил Тома Киллигрю в присутствии короля. Конечно, он был в таком состоянии, что ничего не соображал, но появляться при дворе ему отныне запрещено.