Все это было весьма печально и как-то не по-английски. Пепис считал, что власть хоть как-то должна демонстрировать свою религиозность, да и «умеренность… настолько соприродна обыкновенному англичанину, что ее никак из него не вытравить». Но пугало не одно лишь любвеоби-лие Карла. Столь же (если не более) опасной многим казалась распущенность придворных дам. Условности были отброшены настолько, что даже мужчины чувствовали неловкость. Сама мысль о том, что женщины могут пить, предаваться азартным играм и говорить непристойности легче мужчин, казалась возмутительной. Тревога становилась все глубже, особенное отвращение вызывала Барбара Палмер — дама откровенно властная, честолюбивая, алчная и к тому же сделавшаяся реальной политической силой, что для многих было совершенно неприемлемо.
Визиты Карла к Барбаре стали настолько привычными, что даже стража шушукалась, когда он в разное время дня и ночи возвращался в свои дворцовые покои от женщины, которую Джон Ивлин называл «проклятием нации». Пепис, правда, был не столь категоричен. В конце концов Барбара была сексуальным символом века, когда мужчины отнюдь не скрывали своих похождений. Больше того, Барбара Палмер явно имела сильную, хотя и двусмысленную власть над Пеписом. Он жаждал иметь ее портрет и в конце концов купил литографию. В дневнике Пепис оставил весьма откровенные записи, касающиеся Барбары. Увидев ее чулки и кружевную нижнюю юбку развешанными во внутреннем дворе Уайтхолла, он, по собственному признанию, «получил удовольствие от одного взгляда на них». Когда служанка его начальника рассказала о Барбаре сальную историю, Пепис настолько возбудился, что набросился на девушку и «кончил в штаны».
В то же время Пепис отдавал себе отчет в том, что Барбара оказывает на Карла недоброе влияние, и страшился того, что это видно всем. В феврале 1661 года у Барбары родилась дочь Анна, и хотя все считали, что ее отец — прежний любовник Барбары лорд Честерфилд, Карл в конечном итоге признал девочку своей дочерью, главным образом имея в виду перспективы ее замужества. Тем временем роман матери Анны с королем встречал все большее сопротивление. Вдовствующая герцогиня Ричмондская как-то выразила надежду, что бесстыжая Барбара закончит жизнь, как Джейн Шор, злополучная любовница Эдуарда IV: она умерла в нищете, а тело ее было брошено в навозную кучу. Кларендон, родственник Барбары по линии своей первой жены, с трудом заставлял себе произнести ее имя, чаще всего называя ее «этой женщиной». Как-то случилась неприятная сцена: трое мужчин в масках, скорее всего придворные, остановили Барбару в Сент-Джейм-ском парке и осыпали ее ругательствами. Она в страхе бежала домой.
Карл не обращал на поднимающийся вокруг ропот ни малейшего внимания. Чтобы закрепить за Барбарой положение первой любовницы, а также дать статус детям, которых она может от него родить, Карл решил наградить ее мужа-рогоносца титулом ирландского пэра. Его и унаследуют дети Барбары. Это был явный и оскорбительный вызов обществу, но то обстоятельство, что Карл избрал именно такое звание, свидетельствует о том, что он все рассчитал, включая и сопротивление со стороны Кларендона. А на Ирландию власть лорд-канцлера не распространялась. Карл приказал своему статс-секретарю заготовить указ о производстве мистера Роджера Палмера в сан барона Лим-брика и графа Калсмаиа и «дать его на подпись уже к обеду». Тот повиновался, и в 1662 году Барбара родила от Карла сына уже в качестве графини Калсман. Мальчика окрестили Карлом в вестминстерской церкви Св. Маргариты, но сам обряд крещения вызвал яростную стычку Барбары с Роджером Палмером, в то время прихожанином римско-католической церкви, и когда она вылетела из его дома, захватив с собой все ценности, которые сумела рассовать по карманам, он, непримиренный, отправился во Францию. Свежеиспеченная графиня была только рада избавиться от этой обузы, но тут случилась неприятная неожиданность: она столкнулась с соперницей.