В декабре 1861 года, по представлению «всеподданнейшего доклада» Александру II министра императорского двора и уделов графа В. Ф. Адлерберга, для несения охранной службы в Зимнем дворце и вокруг него, а также для наблюдения за входами во дворец у каждого из восьми его подъездов и за порядками около дворца была учреждена особая
6 мая 1862 года царем по представлению министра императорского двора графа Адлерберга были утверждены правила охраны Большого Царскосельского (Екатерининского) дворца во время пребывания там членов императорской фамилии. Для этого из числа 30 городовых полицейской команды, охранявшей Зимний дворец, 21 человек были переведены в Царское Село, где, как и в Петербурге, им было отведено казенное помещение вблизи дворца.
Одновременно с утверждением правил об охране Большого Царскосельского дворца последовало «высочайшее повеление» о назначении флигель-адъютанта полковника А. М. Рылеева (1830–1907) главным руководителем по наблюдению за точным выполнением этих правил и вообще за соблюдением порядка по дворцу.
При переезде «высочайшего двора» в Петергоф дворцовые городовые несли охранную службу около петергофского дворца и в парках. Начальником над ними был также назначен А. М. Рылеев. Ему, впоследствии генерал-адъютанту, были подчинены не только Дворцовая полицейская охрана, но и весь находившийся в командировке и на местах «высочайших» пребываний офицерский состав и охранная агентура Третьего отделения Собственной его величества канцелярии.
Обстоятельства личной жизни Александра II складывались так, что он остро нуждался в этих двух наиболее близких для него из всей свиты и сановников людях. Оба они в силу своих служебных обязанностей были вовлечены им в его четырнадцатилетнюю тайную любовную связь с княжной Е. М. Долгоруковой. Рылеев, курировавший дворцовую полицию в царских резиденциях в Петербурге и в Крыму, играл роль, как говорили тогда, конфидента царя в организации его тайных свиданий с княжной. Адлерберг, не одобрявший, в принципе, эту связь, как министр двора, тем не менее, исправно оплачивал все — и немалые — расходы императора на содержание любовницы. Рылеев был свидетелем того, как начиналась эта любовная связь, как она продолжалась в течение 14 лет и как трагически закончилась [151].
В Царском Селе в Большом (Екатерининском) дворце императрица Мария Александровна занимала покои Екатерины II в бельэтаже, а царь жил в первом этаже. Фрейлина А. А. Толстая и подруга императрицы Анастасия Николаевна Мальцева, комната которых располагалась в бельэтаже как раз над кабинетом императора, имели возможность неоднократно наблюдать, как Рылеев приводил княжну Долгорукову с детьми для свидания с Александром II: «Сначала появляется Рылеев, закутанный в широкий плащ, довольно забавный в такую теплую погоду. Он прогуливается возле цветочных клумб. Затем к калитке сада подкатывает карета, и все незаконное семейство проникает в сад к Государю по узенькой тропинке сквозь заросли кустарника — тщетная предосторожность, поскольку детские голоса немедленно выдают их присутствие. Иногда малыши даже бьют в барабаны!»
В Крыму в местечке Биюк-Сарай император поселил свою пассию в небольшом доме, в который он тайно приезжал в сопровождении одного лишь верного Рылеева. Один раз Рылеев организовывал их свидание даже в официальной царской резиденции в Ливадийском дворце. С этим скромным домом в Биюк-Сарае у Александра II были связаны столь дорогие для его сердца воспоминания, что, по свидетельству фрейлины А. А. Толстой, «…ему однажды пришла в голову невероятная мысль привезти Наследника и его супругу в тайный дом, где некогда останавливалась княгиня Юрьевская. Он даже заставлял их там пить чай и в продолжение чаепития кормил бесчисленными воспоминаниями о восхитительном прошлом, которым он наслаждался в этом доме!..»