Благодаря сохранившимся подробным описям, сделанным после ареста князя и конфискации его имущества, мы знаем, каким был голицынский дом и что в нем находилось. В здании насчитывалось 53 комнаты, в них находились «парсуны», как назывались тогда портреты, потолки были расписаны. Так, например, в большой столовой «в двух поясах» было «46 окон с оконицы стеклянными», она была «вся меж окон писана цветным аспидом (то есть под мрамор или яшму. —
У князя насчитывалось множество драгоценных предметов — серебряные и позолоченные кубки, чаши, стеклянные, яшмовые бокалы; упомянута и библиотека, в которой было больше светских, чем церковных книг.
После ареста голицынское имущество конфисковали, и еще долгое время оно передавалось в самые разные места — монастыри, приказы, распродавалось, дарилось. Так, например, сохранился именной царский указ «об отдаче атаману донских казаков Фролу Минаеву за его службу кафтана князя Василия Голицина». Был он бархатный, «на пупках соболиных, опушок огоньки, кругом круживо золотное». А вот, скажем, картины и географические карты никому особенно были не нужны, и они распродавались на Гостином дворе. В числе их были живописные, золотом и красками изображения Богородицы, с ними и картины на холстах немецкой работы, «а на них писаны грады, и птички, и древа», а также «четыре части листов Света» (очевидно, карта мира).
Через шесть месяцев после ссылки Голицыных, 19 марта 1690 г., двор пожаловали детям имеретинского царя Арчила царевичам Александру и Матвею (стоимость его была тогда определена в огромную сумму 16154 рубля 10 алтын и 4 деньги). В нижних палатах дома поселилась супруга царя Арчила Екатерина Давыдовна, а верхние отводились для приезда царевичей: «Стоять им на том дворе, где ныне живет мать их царица Екатерина Давыдовна, и для того очистить и оттереть им верхние палаты». Домом долго владели князья Грузинские, в числе которых был Георгий (его обычно звали Егором) Александрович, прославившийся даже в жестокие времена крепостного права своим буйным нравом. О нем современники писали: «Совершенно дикий человек по своему нраву и поступкам; под его начальством было несколько разбойнических шаек, которые занимались грабежом на Волге». Он никого не боялся, делал наезды на соседей, грабил кабаки, следователей по жалобам третировал беспощадно, а то избивал. До нас дошли красочные описания его «подвигов»: «Схватя Иванова за волосы, вытащил вон и, стащивши с крыльца во двор, бил его по щекам кулаками и таскал за волосы, а побивши, велел прогнать без всякого удовольствия».
В роду князей Грузинских дом находился почти до конца XIX в., неоднократно горел, денег на восстановление его всегда не хватало, помещения сдавались внаем, и здесь помещалось множество лавок. Так, к примеру, в «Московских ведомостях» в 1833 г. объявлялось, что «в доме Князя Грузинского в лавке у Елиазара Иванова Бухарина продаются грузди мелкие 1-го сорта в банках и в кадках по 44 коп., красные рыжики в банках и в кадках по 50 коп. …пудами много дешевле, варенье сахарное и медовое, масло ореховое, маковое и конопляное по сходным ценам». В последнее время перед Октябрьским переворотом бывший роскошный дворец, а тогда обычный, внешне совершенно неказистый дом принадлежал купцу Д. Ф. Баракову, содержавшему в нем рыбную торговлю.
В середине 1920-х гг. голицынский дом, как и многие другие старинные постройки, стали реставрировать. Тогда сообщалось, что «археологическое обследование показало совершенно исключительный характер этого замечательного памятника гражданского строительства XVII века, с редким по тонкости убранством фасадов и полностью сохранившимся бытовым устройством внутренней части — лестницами, сводчатыми палатами и пр.».
Как вспоминал художник С. М. Голицын, «и засверкали красным кирпичом стены, белокаменные узорчатые наличники вокруг стен, белокаменные ряды сухариков и бегунков. И люди узрели такую жемчужину, что каждый, кто любил Москву, нарочно приезжал ею любоваться».