Остановившись поначалу у Томаса Престона, ирландского роялиста, Карл затем переехал в уютный дом на р. От. Пребывая здесь, он мог заниматься теми важными и мелкими делами, которые выпадали монархам в изгнании: например, посещать заседания английского конвента или выполнять необременительные обязанности патрона лучников гильдий Св. Георгия и Св. Себастьяна. По пятам за ним следовали неизбежные кромвелевские соглядатаи, посылавшие в Англию явно приукрашенные отчеты о разгульной жизни роялистов. Брюгге якобы — «гнездо разврата и пьянства». Быть может, впрочем, некоторые из придворных короля действительно были не без греха, однако же сам он, погруженный в меланхолию и тоску по неосуществленным планам, мирно жил со своей новой любовницей, симпатичной Кэтрин Пегге. От нее у него родились дочь, умершая в младенчестве, и сын, бесхитростно названный Карлом Фитцкарлом. Была у Карла и дочь (Шарлотта Фитцрой) от Элизабет Киллигру, и еще он, похоже, ухаживал за Генриеттой Екатериной Оранской, юной дамой независимого склада, — в этом романе искреннее увлечение сочеталось с политикой. Карлу теперь нравились женщины с сильным характером, и, делая принцессе скромные, какие только мог себе позволить, подарки — перчатки из Парижа, например, — он самодовольно писал Таффе, что «таких женщин» у него еще не было.
О Люси Уолтер Карл того же не сказал бы. Угнетенная тяготами повседневного существования, взбалмошная по природе, она все больше деградировала морально и физически. Превратив и собственную жизнь и жизнь окружающих в Гааге в сущий кошмар, Люси вместе с детьми решила вернуться в Англию. Тут ее немедленно схватили агенты Кромвеля: как «жена или любовница» короля она представляла немалую ценность. Люси продержали в тюрьме две недели и допросили с пристрастием, после чего Кромвель решил, что с политической точки зрения целесообразнее всего будет ее отпустить; надо только придать этому акту публичный характер, так, чтобы люди говорили о щедрости души протектора. Насмешливо обозвав Карла ханжой и королем-благотворителем, проматывающим деньги на таких женщин, как эта, он распорядился освободить «даму для королевских радостей и юного наследника» и отослать обоих во Фландрию. В следующем месяце Люси уже была в Брюсселе.
Раздраженный и обеспокоенный, король твердо решил отобрать у Люси сына и, поселив ее с Яковом в доме одного из своих приверженцев, сэра Артура Слингсби, велел тому «по возможности без шума отобрать ребенка у матери». Но Слингсби оказался не тем человеком, которому можно было доверить такую миссию. Люси не смогла заплатить за проживание, и Слингсби попытался было взять ее под стражу. Прижимая маленького Якова к груди, Люси с громкими рыданиями выбежала на улицу. Прохожие сразу же встали на сторону несчастной матери, а Слингсби только усугубил положение, заявив во всеуслышание, что действует от имени английского короля. Это вызвало такое волнение в городе, что вынужден был вмешаться сам мэр, и Карлу, которому в тот момент меньше всего нужны были дипломатические скандалы, не оставалось ничего другого, кроме как согласиться с переселением своей прежней возлюбленной в дом лорда Кастлхэвена.
Используя в качестве посредника графа Ормонда с его неизменно внушительными манерами, Карл попытался объяснить мэру сложившуюся ситуацию. В письме ему граф, ссылаясь на «чудовищное и неприличное поведение» Люси, писал, что присутствие ее сделалось совершенно невыносимым для короля и его приближенных. Лучше всего ей как-нибудь незаметно исчезнуть, намекал Ормонд, выдерживая тон оскорбленного достоинства, отличающий все письмо. «Таким образом Вы не просто обяжете короля; это будет великим благодеянием для ребенка, а в конечном итоге и для его матери, — быть может, она сменит наконец образ жизни, который навлекает на нее справедливые упреки окружающих». Если же Люси откажется, то последствия будут самыми печальными. «В таком случае, — продолжал Ормонд, явно рассчитывая, что эти слова дойдут до Люси, — к ее прежним безумиям добавится еще одно, на сей раз касающееся невинного ребенка, так как он вынужден будет из-за ее упрямства разделить все беды, которые неизбежно свалятся на мать, когда Его Величество лишит обоих своего попечения». Те же, кто в таких обстоятельствах станет на сторону Люси, нанесут королю «ущерб» и выкажут таким образом свое «явное неповиновение».