Когда 30 апреля 1872 года княжна Долгорукова родила ему своего первенца — сына Георгия, Александр II пытался скрыть это событие от супруги и двора. Младенца поместили в доме генерал-адъютанта Рылеева в Мошковом переулке и наняли для ухода за ним кормилицу из простолюдинок и француженку-бонну. После рождения второго ребенка — дочери Ольги — царь подписал в Царском Селе 11 июля 1874 года «высочайший указ» правительствующему Сенату о даровании этим незаконнорожденным детям «прав, присущих дворянству… и княжеское достоинство с титулом светлейших». В тайну этого указа был посвящен только один Рылеев, который обязался царю свято хранить доверенный ему столь важный государственный секрет впредь до соответствующего распоряжения императора.
Через месяц после похорон императрицы Марии Александровны, не дожидаясь окончания положенного в таких случаях годового траура, Александр принял решение обвенчаться с княжной Долгоруковой и поставил об этом в известность лишь графа Адлерберга и генерал-адъютанта Рылеева, да и то за три дня до церемонии, состоявшейся 6 июля 1880 года в походной церкви Большого Царскосельского дворца.
А. М. Рылеев до самой трагической кончины своего августейшего друга и любимого монарха выполнял возложенные на него обязанности. По свидетельству графини Клейнмихель, именно он вел под руку княгиню Юрьевскую к телу ее умирающего мужа, доставленному после покушения 1 марта 1881 года в Зимний дворец. По свидетельству самой княгини Юрьевской, смерть императора погрузила охранника Рылеева в отчаяние: «…он проливал горючие слезы, подобно малому ребенку, стонал и даже издавал богохульные возгласы, отрицая существование Бога; он не произносил уже молитв и не осенял себя крестным знамением».
Такая преданность стоила Рылееву многих личных неприятностей и тягостных душевных переживаний, так как императрица, царская семья, ее ближайшее окружение при дворе, свита и великосветское общество, не одобрявшие поведение императора и по вполне понятным причинам лишенные возможности выразить лично свое неудовольствие и негодование по этому поводу, срывали свою злость на несчастном Рылееве и открыто демонстрировали ему свою неприязнь. На голову охранника сыпались все невысказанные ими царю упреки. Какими только нелицеприятными характеристиками и уничижительными словами не награждает его в своих воспоминаниях та же фрейлина А. А. Толстая!
Тем не менее только что вступивший на престол Александр III в 1881 году награждает Рылеева медалью в память кончины отца. Не без участия, надо полагать, его друга графа Адлерберга в том же году канцелярия Министерства императорского двора разрешает Рылееву «посещать, по временам, беспрепятственно и без присутствия посторонних лиц, кабинет Императора Александра II в Зимнем Дворце». Зачем ему понадобилось это разрешение, и чем он занимался, находясь один в кабинете умершего друга и монарха, мы, наверное, уже никогда не узнаем [152].
Во многих источниках Рылеев часто именуется начальником личной охраны Александра II. На наш взгляд, это не совсем точно хотя бы потому, что такой должности в то время просто не существовало. Как самое близкое и доверенное в свите лицо генерал-адъютант Рылеев являлся по указанию императора главным куратором зарождавшихся тогда двух охранных служб: дворцовой полиции и охранной агентуры (или охранной стражи), что создавало ему возможность выполнять все деликатные поручения монарха и следить за тем, как обеспечивается его личная безопасность. Иными словами, это был прообраз той должности, которую вскоре определят в структуре Министерства императорского двора и уделов как должность дворцового коменданта.
Непригодность городовой стражи продемонстрировало покушение Каракозова. В конце апреля 1866 года, сразу после покушения Каракозова, начальник Третьего отделения и шеф жандармов П. А. Шувалов представил императору «всеподданнейший» доклад, в котором констатировал, что «печальное событие 4 апреля привело к убеждению в безотлагательной необходимости учреждения особой команды, исключительной целью которой должно было быть постоянное наблюдение во всех местах пребывания Вашего Величества». Команда должна была состоять из начальника и двух его помощников, 6 секретных агентов и 80 стражников. Руководителей команды предлагалось назначать из числа полицейских либо жандармских офицеров, стражников — набирать из полицейских или жандармских нижних чинов, а секретных агентов — подбирать «преимущественно из лиц свободных всякого состояния и по предварительным испытании их как в степени благонадежности, так и в способности».
Расходы на содержание «охранительной команды» предусматривались в размере 52 тысяч рублей в год и включали в себя ежемесячное жалованье начальнику — 200 рублей, помощникам — по 100 рублей, агентам — по 75 рублей, стражникам — по 30 рублей, а также по 100 рублей в год каждому чину на гражданскую одежду и 5 тысяч рублей в год на «экстренные расходы».