Новый владелец Воронова тоже потомок древнего рода. Его предок, Борис Давыдович Ростопчин, из рода крымского татарина Ростопчи, состоял на службе у Великого московского князя Василия Ивановича в первой половине XV века, и с тех самых пор все его потомки служили русскому двору.
Родился Федор Васильевич Ростопчин в 1765 году в Москве. Он, камер-юнкер двора Великого князя Павла, женился на графине Екатерине Протасовой, воспитаннице при дворе императрицы Екатерины Великой. Императрице не нравилась привязанность Ростопчина к ее сыну Павлу, и роль его при дворе была скромной, но после смерти Екатерины Ростопчин становится всемогущим фаворитом Павла Первого, смело высказывает свои взгляды как член Совета императора.
«Вы ужасный человек, но вы правы», – пишет Павел Федору Ростопчину, который не согласен с одним из его распоряжений.
Успешная деятельность Федора Васильевича при дворе Павла Первого была недолгой, она закончилась вместе с дворцовым переворотом в 1801 году. Павел – мертв, Ростопчин – в отставке. Он живет в Воронове, приезжает в Москву лишь на зимние месяцы. Оказавшись не у дел при императоре Александре Первом, занимается дальнейшим благоустройством имения. Современник пишет:
«Дворец в Воронове был великолепный и воистину величественный. Обстановка отличалась сказочной роскошью».
Только в 1812 году Александр Первый возвращает Ростопчина на государственную службу и назначает генерал-губернатором Москвы. На этом посту его и застает Отечественная война.
Во время отступления русской армии, в одну из сентябрьских ночей, Федор Васильевич Ростопчин сжигает свою роскошную подмосковную усадьбу. Он останавливается в Воронове в сопровождении англичанина лорда Тирконнеля и военного агента Вильсона:
– Господа генералы, прошу вас оказать мне услугу и поджечь покои на первом этаже дворца.
– Но граф, рука не поднимается уничтожить все это великолепие.
– Прошу вас! Сам я предам огню все остальные постройки.
Рухнула скульптурная группа над главным входом.
– Я доволен! Я поджег свой дворец, который стоил мне миллион, чтобы он не был осквернен присутствием французов.Центральный корпус дворца сгорел не дотла и впоследствии был восстановлен, правда, без прежнего великолепия.
В народе Ростопчину приписывали поджог самой Москвы. А. С. Грибоедов в поэме «Горе от ума» говорит о московском коменданте как о человеке трусливом и бездарном. Несправедливым и жестоким предстает генерал-губернатор Москвы и со страниц романа Л. Н. Толстого «Война и мир». И в то же время современники писали о нем как о человеке, обладающем душой благородной и возвышенной. Он был убежденным монархистом, крепостником, но перед смертью отпустил на волю всю свою дворню. На посту генерал-губернатора Москвы отказался от жалованья и не хлопотал о пенсии. Самозабвенно любил жену, но когда она перешла в католичество, переписал завещание в пользу сына. Под одним из своих портретов Федор Ростопчин собственноручно написал: «Я родился татарином, хотел быть римлянином, французы прославили меня варваром, а русские Жоржем Данденом».