В центре холма поднялся дом-дворец — трехэтажный, с двумя симметрично расположенными боковыми флигелями, соединенными в один этаж с галереей, где находились оранжерея и зимний сад. В плане дворец представлял сочетание круга с прямоугольником. К югу, в сторону села, здание смотрело большой выступающей полуротондой с куполом, увенчанным иглой флагштока. Перед домом был построен фонтан, разбиты цветники, широкий марш лестницы украсили мраморные фигуры. В северную же сторону, туда, где холм понижался к речке Зубриловке, был обращен дорический портик центрального корпуса с колоннадой, увенчанной треугольником фронтона. Здесь же, вдоль здания, расширенная партером с цветниками, проходила через всю усадьбу широкая аллея. Служившая главной планировочной осью, она замыкалась справа великолепной однокупольной церковью, построенной в 1796 году.
Слева от дворца «главная ось» упиралась в высокую колокольню, поставленную на том же от него расстоянии, что и церковь. Трехгранная снизу, во втором ярусе превращающаяся в шестигранную, выше переходящая в сквозную башенку с колоколами и увенчанная барабаном с круглой литой сферой — колокольня поднималась над окрестными лесами, пашнями и оврагами.
В центре дом, слева колокольня, справа церковь — так и белел светлым камнем, светился облицовкой искусственного мрамора дворцовый ансамбль среди зеленых вершин, далеко плыл густой колокольный звон, горели на солнце купола и кресты, отражаясь в зеркале лежащего под холмом пруда.
Возведенный Голицыным родовой «парадиз» стал самым любимым местожительством его супруги Варвары Васильевны, племянницы всесильного Потемкина, «Златовласой Плениры», как назвал ее Державин. Будучи правителем Тамбовского наместничества, Гаврила Романович начиная с 1786 года неоднократно наезжал в Зубриловку, а его стихотворение «Осень во время осады Очакова», обращенное к С. Ф. Голицыну, в одном из рукописных списков названо «Осень в селе Зубрилове, 1788, в ноябре».
При императоре Павле храбрый Голицын попал в немилость и был сослан в свою Зубриловку. Известие об этом было встречено княгиней с таким «исступлением бешенства», что рассказавший о нем маленький приживальщик Голицыных, будущий пушкинский приятель Ф. Ф. Вигель и камня не оставил в своих мемуарах от сентиментально-кроткого образа, созданного Державиным. Но вместе с опальным владельцем приехал в Зубриловку еще один гость. «В ненастное время пернатые певцы скрываются в густоте леса, — замечает Вигель. — Деревню и дом князя Голицына избрал тогда убежищем один весьма мохнатый певец, известный чудесными дарованиями…» Это был по-медвежьи неуклюжий тридцатишестилетний Крылов, будущий баснописец, взятый Голицыным в секретари и обучавший его детей языку и словесности. В Зубриловке Крылов прожил два осенних месяца 1797 года. Предположительно к этой поре относят несколько ранних его стихотворений, из которых ода «Уединение» навеяна зубриловским ощущением гармоничного покоя.
Усадебный ансамбль продолжал разрастаться и после того, как в семейном склепе под церковью легли две первые могильные плиты. Один из десяти детей Голицына — Федор Сергеевич, женился на дочери фельдмаршала княжне А. А. Прозоровской, бывшей последней в роду, почему их потомки стали именоваться Голицыными-Прозоровскими.
На том месте, где внезапно умерла во время прогулки Варвара Васильевна, неподалеку от церкви была сооружена часовня в виде усеченной пирамиды, облик которой производил впечатление, не лишенное мрачной мощи. А на противоположном берегу оврага, там, где кончался сад, пленные французы воздвигли высокую «башню-руину» с большими, как бы обломившимися зубцами…
Князь Федор при известной своей ограниченности был «одарен необычайным вкусом», особенно направленным на все, что касается «до внутреннего расположения комнат, до убранства их всеми драгоценными безделками». Интерьер дома-дворца отличался разнообразием художественной отделки. Купольное пространство расписано фресками в древнеримском духе. Особенно хороша была круглая зала в стиле Людовика XVI — с гладкими, под мрамор, стенами, окаймленными узкими лентами лепного бордюра, с двумя нишами, изящными сводами. Среди цветов и редких тропических растений стояла здесь скульптура Козловского, копия с работы Кановы… В соседней широкой и длинной зале, где господствовал торжественно-строгий ампир, находилась главная гордость хозяев Зубриловки — «галерея предков». Старинных портретов и миниатюр было не менее полутораста. Среди множества работ неизвестных художников на зубриловских стенах висели полотна кисти таких мастеров, как Левицкий, Лампи, Токкэ, Молинари, Виже-Лебрен…
Сыном основателя усадьбы была собрана большая коллекция фарфора, стекла, мрамора, бронзы и костюмов. В голицынском родовом замке на Хопре можно было видеть такое уникальное произведение, как бронзовая ваза эпохи Возрождения, созданная одним из учеников Микеланджело. В огромной библиотеке хранилось много ценных рукописей и исторических документов. Бережно сохранялась в прежнем виде и комната, в которой когда-то жил Крылов.